Was ein Sprachmodell speichert und was es nur schätzt

Wer eine Ausgabe liest, sieht Sätze. Die Sätze haben einen Anfang, ein Ende und oft einen Ton, der nach Abschluss klingt. Dieser Ton verführt dazu, hinter dem Text eine Akte zu vermuten: etwas, das nachgeschlagen, geprüft und dann ausgesprochen wurde. Die Akte ist in der Ausgabe nicht zu sehen. Sichtbar ist der Wortlaut. Diese Notiz trennt beides, ohne zu sagen, was jemand mit dem Wortlaut tun soll.

Ein Sprachmodell im hier gemeinten Sinn ist eine festgehaltene Rechenvorschrift mit sehr vielen Zahlen, die beim Training verschoben wurden. Die Verschiebung folgt einer einfachen Aufgabe: zum bisherigen Textstück einen nächsten Teil vorzuschlagen, der im Mittel zu den Beispielen passt. Gespeichert wird damit keine Bibliothek von fertigen Antworten. Gespeichert wird eine Neigung, bestimmte Fortsetzungen für wahrscheinlicher zu halten als andere. Die Ausgabe entsteht erst, wenn jemand eine Eingabe gibt und die Vorschrift Schritt für Schritt einen Wortlaut erzeugt.

Die Tabelle und der Satz

Die Zahlen der Vorschrift lassen sich als eine sehr große Tabelle denken, auch wenn die technische Form komplizierter ist. In der Tabelle steht nicht der Satz „Die Hauptstadt ist …“ als Karteikarte. In ihr stehen Gewichte, die Zusammenhänge zwischen Zeichen begünstigen oder dämpfen. Zwei Leser können dieselbe Tabelle mit zwei verschiedenen Eingaben befragen und zwei verschiedene Sätze erhalten. Beide Sätze sind Ausgaben. Keiner von beiden ist die Tabelle selbst.

Deshalb ist der Satz auf dem Bildschirm ein Zeitpunkt. Er gilt für diese Eingabe, diese Einstellungen und diesen Lauf. Ein späterer Lauf kann einen anderen Wortlaut wählen, auch wenn die Frage gleich aussieht. Wer den ersten Satz als gespeichertes Wissen behandelt, verwechselt das Blatt, das gerade gedruckt wurde, mit dem Druckstock. Der Druckstock bleibt unsichtbar. Das Blatt ist das, was sich lesen lässt.

Was „speichern“ hier nicht heißt

Im Alltag heißt speichern: eine Datei liegt unter einem Namen und lässt sich wieder öffnen. Bei einem Sprachmodell heißt ein großer Teil des Speicherbaren anders. Einzelne Trainingsstellen müssen nicht als abrufbare Dokumente erhalten bleiben. Was bleibt, ist die verschobene Neigung. Eine Neigung kann einen häufigen Zusammenhang nachbilden und einen seltenen verlieren. Sie kann eine Formulierung glätten, die in den Beispielen oft neben einem Namen stand, ohne dass dieser Name geprüft worden wäre.

Schätzen heißt fortsetzen

Jede neue Ausgabe ist eine Folge von kleinen Entscheidungen. An jeder Stelle wird ein nächster Teil gewählt, oft mit einem Spielraum, der mehrere Fortsetzungen zulässt. „Schätzen“ ist hier kein Bauchgefühl einer Person. Es ist die Auswahl unter Möglichkeiten, die die Vorschrift für wahrscheinlich hält. Der fertige Absatz verdeckt diese Stellen. Er sieht aus wie ein Gedanke, der schon vor dem Tippen da war.

Eine Schätzung kann richtig liegen, wenn der Zusammenhang in den Beispielen stabil war und die Frage in dieses Muster passt. Sie kann danebenliegen, wenn die Frage eine Lücke trifft, einen seltenen Namen, eine neue Regel oder einen Widerspruch zwischen Quellen. Der Absatz meldet den Unterschied nicht von selbst. Er kann in beiden Fällen denselben sicheren Ton benutzen. Der Ton gehört zur Form der Fortsetzung, nicht zum Nachweis.

• Gespeichert ist die Neigung der Vorschrift, nicht der einzelne Satz auf dem Schirm.
• Geschätzt wird der nächste Wortteil im Moment der Ausgabe.
• Der fertige Absatz zeigt das Ergebnis, nicht die verworfenen Fortsetzungen.

Warum der Unterschied für das Lesen zählt

Wer den Absatz als Akte liest, sucht darin eine Herkunft, die oft nicht dasteht. Wer ihn als Fortsetzung liest, stellt andere Fragen. Welches Wort benutzt der Satz? Welches Fenster meint er: einen Tag, ein Gesetz, ein Lehrbuch? Welche Angabe fehlt, obwohl der Satz vollständig wirkt? Diese Fragen bleiben beim Lesen. Sie werden nicht zu einer Anweisung, ein Werkzeug zu wählen oder eine eigene Unterlage einem Programm zu übergeben.

Besonders leicht verschwimmt die Grenze bei Zahlen. Eine Ausgabe kann eine Jahreszahl, eine Menge oder eine Quote nennen, weil solche Muster in Texten häufig sind. Die Zahl gilt nur, wenn eine Quelle sie in demselben Fenster trägt. Steht die Quelle nicht neben dem Satz, bleibt die Zahl eine Behauptung der Ausgabe. Sie ist dann kein Beleg. Diese Notiz füllt die Lücke nicht mit einer Beispielzahl, denn eine erfundene Höhe würde denselben Fehler wiederholen.

Was außerhalb dieser Notiz liegt

Die technische Bauart einzelner Programme, ihre Namen und ihre Betreiber sind hier nicht der Gegenstand. Auch eine persönliche Entscheidung — ein Vertrag, eine medizinische Frage, eine Geldfrage — liegt außerhalb. Finanzmärkte können zu Verlusten führen; dieser Text sagt nicht, was mit Geld geschehen soll, und er nennt kein Produkt. Eine Beschreibung der Tabelle ist keine Aufforderung, sie zu benutzen.

Der Nutzen einer klaren Trennung ist bescheiden und genau: Man kann einen Satz noch einmal lesen und fragen, ob er gespeichertes Material wiedergibt oder eine Fortsetzung anbietet. Beides kann im Alltag vorkommen. Beides sieht ähnlich aus. Die Ähnlichkeit ist der Grund, die beiden Wörter nicht zu vermischen.

Schluss

Ein Sprachmodell speichert eine verschobene Neigung, aus der sich Fortsetzungen bilden lassen. Es legt den Satz, den Sie gerade lesen, nicht als fertige Karteikarte ab. Die Ausgabe schätzt einen Wortlaut zu einem Zeitpunkt. Wer das auseinanderhält, hat noch keine Entscheidung getroffen. Er hat nur verhindert, dass ein glatter Absatz als Akte durchgeht.

Wenn ein Satz auf dieser Website eine Grenze überspringt, lässt sich das als Frage zum Wortlaut melden. Daraus wird keine Beratung.