Wörter werden zu Tokens
Ein Sprachmodell sieht keine Buchstaben wie du. Bevor es rechnen kann, wird Text in kleinere Einheiten zerlegt und als Zahlen dargestellt.
Experiment: Ein Satz, mehrere Tokens
Mögliche Zerlegung didaktisch
Tokens sind zunächst IDs
Jedes Token bekommt eine Nummer. Eine gelernte Tabelle ordnet dieser Nummer einen Zahlenvektor zu – ein sogenanntes Embedding.
In diesem Vektorraum verarbeitet das Modell Zahlen statt Wörter. Ein Token ist nicht immer ein vollständiges Wort: Auch Wortteile und Satzzeichen können Tokens sein.
Ein LLM verarbeitet Zahlenvektoren, nicht unmittelbar Wörter.
Neuronales Netz oder Matrix – was ist der Unterschied?
Die Zeichnung mit Neuronen und die Rechnung mit Matrizen zeigen dasselbe. Probiere aus, wie Zahlen durch ein winziges neuronales Netz wandern.
Start: Zwei Zahlen gehen hinein
Die Kreise links stehen für zwei Eingabewerte.
Die aufleuchtenden Verbindungen veranschaulichen die Zahlenweitergabe. Reale künstliche Neuronen senden keine sichtbaren Lichtimpulse; die Rechnung erfolgt numerisch.
Zuerst: Der Eingabevektor
Wir verwenden zwei Zahlen als Eingang. Eine Schicht ersetzt sie durch neue Zahlen.
Die Linien in der Grafik sind die Zahlen der Gewichtsmatrix. Ein Neuron multipliziert Eingänge mit Gewichten, addiert und wendet anschließend eine Funktion an. Eine ganze Schicht macht das gleichzeitig für viele Neuronen.
Dort gibt es sehr viel größere trainierte Matrizen und viele Schichten. Auch die Vektoren für Query, Key und Value werden durch solche Matrixrechnungen erzeugt. Attention berechnet anschließend zusätzlich Verbindungen, deren Stärke vom aktuellen Text abhängt.
Das neuronale Netz ist die Architektur; die Gewichtsmatrizen beschreiben seine gelernten Verbindungen. Das Bild mit leuchtenden Neuronen und die Matrixform sind zwei Ansichten derselben Rechnung.
Attention: Wie nutzen Wörter ihren Kontext?
Ein Wort allein verrät oft wenig. Das Modell kombiniert deshalb Informationen aus verschiedenen Stellen eines Satzes. Wir verfolgen, was dabei herauskommt – noch ohne Formeln.
Aus „jagt“ wird eine Darstellung von „jagt im Zusammenhang mit dem bisherigen Satz“.
Ein LLM verarbeitet nicht einfach Wörter, sondern Zahlenvektoren. Attention erzeugt für jede Tokenposition einen neuen Vektor, in den Informationen anderer, erlaubter Positionen einfließen. Der Vektor ist noch kein neues Wort.
Unser Beispielsatz: „Hund jagt Katze“
Wir tun so, als wäre jedes Wort genau ein Token. Wähle eine Position durch Antippen. Die späteren Wörter sind zwar auf dem Bildschirm zu sehen, dürfen für diese Position aber nicht verwendet werden.
Von welcher Position kommt wie viel?
Das Modell berechnet für jede erlaubte Tokenposition einen Anteil. Die Informationen dieser Positionen werden entsprechend gewichtet – nicht die Wörter selbst.
Was passiert mit diesen Anteilen?
Erst später wird ein neues Token erzeugt. Viele solcher Attention- und weiteren Rechenschritte bilden einen Transformer. Erst an dessen Ausgang berechnet das LLM Wahrscheinlichkeiten für das nächste Token. Das siehst du im nächsten Modul.
Eine Anfrage, ein Vergleich und die übertragene Information
Für jede Tokenposition entstehen drei Zahlenvektoren. Wir verarbeiten gerade „jagt“.
Die Position „jagt“ bringt einen Suchvektor mit: Welche Informationen anderer Positionen passen dazu?
Auch „Hund“ besitzt einen Key-Vektor. Das Modell vergleicht Q von „jagt“ mit K von „Hund“ – und ebenso mit den übrigen erlaubten Keys.
Die Value-Vektoren liefern die gewichteten Zahlenbeiträge für den neuen Vektor.
Was bleibt fest, was ändert sich?
Die trainierten Rechenmatrizen WQ, WK und WV bleiben beim Antworten unverändert. Die daraus berechneten Q-, K- und V-Vektoren und die Attention-Gewichte hängen vom aktuellen Kontext ab.
Für Neugierige: Die Rechnung (optional)
Aus den aktuellen Tokenrepräsentationen X entstehen durch trainierte Matrizen:
Mit Q und K wird die Stärke der Verbindungen berechnet. Softmax macht daraus positive Anteile mit Summe 100 %. Gesperrte zukünftige Positionen erhalten 0 %.
Y = A · V
Hier berechnet das Mini-Modell mit zwei Zahlen pro Vektor. Die Zahlen sind für die Demonstration vorgegeben, nicht von einem echten LLM trainiert.
Drei Beispiele aus der Sprache
„Der Hund ist müde. Er schläft.“
Für die Darstellung von „Er“ können Informationen aus „Hund“ hilfreich sein.„Ich sitze auf der Bank.“
„Ich überweise zur Bank.“
„Anna ist größer als Ben. Ben ist größer als Clara.“
Das Modell kann Beziehungen zwischen mehreren Positionen verarbeiten. Das korrekte Schlussfolgern braucht mehr als Attention allein.Attention wählt kein fertiges Antwortwort aus. Sie berechnet aus dem aktuellen Satz Gewichte für Informationsbeiträge und daraus neue Vektoren. Bei generierenden Modellen können dabei keine zukünftigen Tokenpositionen verwendet werden.
Das nächste Token vorhersagen
Ein generatives Sprachmodell berechnet mögliche Fortsetzungen und ihre Wahrscheinlichkeiten. Nach einem gewählten Token kann es auf dieser Grundlage das nächste vorhersagen.
Experiment: Gleicher Text, verschiedene Fortsetzungen
Wahrscheinlich heißt nicht wahr
Ein LLM kann eine richtige, eine ungenaue oder auch eine erfundene Fortsetzung erzeugen. Es überprüft bei der Tokenvorhersage nicht automatisch, ob eine Behauptung stimmt.
Versuche das Beispiel mit dem erfundenen Metall: Auch für Begriffe, zu denen keine zuverlässigen Fakten vorliegen, lassen sich plausible Zahlen ausgeben.
Für Neugierige: Was macht die Temperatur?
Aus den Beispielwahrscheinlichkeiten p bilden wir neue Gewichte proportional zu p1/T und normieren sie erneut. Niedrige Temperatur konzentriert die Auswahl, hohe verteilt sie gleichmäßiger. Das erzeugt keine zusätzlichen Fakten.
Eine plausible Fortsetzung ist noch kein Beleg für eine richtige Aussage.
Wie lernt ein LLM aus Fehlern?
Beim Pretraining sind in großen Textmengen die tatsächlich folgenden Tokens bekannt. Das Modell soll diese immer besser vorhersagen – ohne dass Menschen jede Fortsetzung einzeln bewerten müssen.
Experiment: Den Vorhersagefehler verkleinern
Trainingssatz: „Ein Jahr hat zwölf …“
Das erwartete nächste Token lautet „Monate“.
Loss und Backpropagation
Loss: Eine Zahl, die ausdrückt, wie schlecht die Vorhersage zum bekannten Trainingsziel passt. Hier gilt für das korrekte Token:
Backpropagation: Mathematische Ableitungen zeigen, in welche Richtung die Netzgewichte verändert werden sollten. Ein Optimierer macht kleine Schritte in diese Richtung.
So entstehen Sprachmuster, Zusammenhänge und viel statistisches Wissen. Das Modell bekommt aber dadurch keine eingebaute Garantie für Wahrheit.
Pretraining belohnt im übertragenen Sinn gute Vorhersagen – gemessen wird jedoch ein Vorhersagefehler, nicht automatisch die Wahrheit einer Antwort.
Was hat es mit „Belohnung“ auf sich?
Nach dem Grundtraining kann ein Modell weiter angepasst werden: Menschen oder Bewertungssysteme beurteilen, welche Antworten als Assistenzleistung besser sind.
Experiment: Du bist die bewertende Person
Beim klassischen RLHF (Reinforcement Learning from Human Feedback) lernt zunächst ein Bewertungsmodell, menschliche Präferenzen einzuschätzen. Das Sprachmodell wird anschließend so optimiert, dass es häufiger hoch bewertete Antworten gibt.
Andere Verfahren, zum Beispiel DPO, können Präferenzvergleiche auch direkter für das Training verwenden.
Pretraining lernt Fortsetzungen. Post-Training formt das Antwortverhalten. Beides ersetzt keine unabhängige Überprüfung.
Wissenscheck: Kannst du es unterscheiden?
Beantworte sieben kurze Fragen. Du erhältst sofort eine Erklärung. Hier geht es nicht um Fachwörter auswendig lernen, sondern um die Konsequenzen für den Umgang mit KI.
Noch keine Frage beantwortet.
Was kann ich selbst kontrollieren – und wo fehlt mir noch das Wissen für eine zuverlässige Prüfung?