Alles wird in deinem Browser berechnet. Texte und Lernfortschritt bleiben bis zum Neuladen erhalten. Im freien Labor kannst du deinen Trainingssatz und die Einstellungen als Datei sichern.
Methoden, Grenzen und Quellen
Dieses Labor verwendet ein selbst implementiertes N-Gramm-Modell. Es zählt Folgetokens nach null, einem oder zwei vorherigen Tokens. Wörter werden kleingeschrieben; Wörter, Zahlen und einzelne Satzzeichen bilden Tokens. Zeilenumbrüche und die Zeichen . ! ? trennen Trainingsabschnitte. Fenster überschreiten diese Grenzen nicht. Es werden keine künstlichen Start- oder Endtokens ergänzt.
Die Grundwahrscheinlichkeit ergibt sich aus der Häufigkeit eines Folgetokens geteilt durch alle beobachteten Fortsetzungen desselben Kontextes. Ohne Glättung haben nie beobachtete Fortsetzungen Wahrscheinlichkeit 0. Bei eingeschaltetem Rückgriff verwendet ein unbekannter Kontext nacheinander einen kürzeren Kontext bis zur kontextlosen Verteilung; dies wird sichtbar gekennzeichnet.
Temperatur T > 0 verändert die Auswahlchancen proportional zu p1/T; T = 1 erhält die Häufigkeitsverteilung, T = 0 wählt ein häufigstes Token. Bei Gleichstand entscheidet die Zeichenreihenfolge. Manuelles Auswählen ist eine eigene Entscheidung und kein Zufallszug. Der Startwert steuert einen reproduzierbaren Pseudozufallsablauf. Zufall garantiert keine unterschiedlichen Ausgaben.
Moderne grosse Sprachmodelle nutzen unter anderem gelernte neuronale Parameter, oft Teilworttokens und viel längere Kontexte. Dieses Zählmodell macht die schrittweise Vorhersage anschaulich und bildet diese zusätzlichen Verfahren nicht ab. Eine häufige oder flüssige Fortsetzung ist keine Faktenprüfung.
Didaktischer Ausgangspunkt: inf-schule: Erzeugung von Texten mit dem Sprachmodell. Eigene Texte, Aufgaben und Umsetzung. Weitere Grundlagen: Jurafsky & Martin: N-Gramm-Sprachmodelle, Google: grosse Sprachmodelle, Hugging Face: Sampling und Temperatur.