Wie funktioniert ein LLM?

Ein LLM (Large Language Model) ist ein Sprachmodell, das mit Milliarden von Textbeispielen trainiert wurde. Es versteht Sprache nicht wie ein Mensch, sondern arbeitet rein statistisch: Es berechnet, welches Wort mit welcher Wahrscheinlichkeit als nächstes folgen sollte.

Wahrscheinlichkeiten statt Wissen

Ein LLM kennt keine Fakten im klassischen Sinn. Es hat beim Training unzählige Muster in Sprache erkannt und gelernt:

„Wenn jemand diesen Satz beginnt, wie endet er typischerweise?“

Die Antwort basiert also nicht auf Verstehen, sondern auf Statistik. Das Modell versucht, die wahrscheinlichste Fortsetzung zu erzeugen.

Beispiel

Eingabe: Paris ist die Hauptstadt von

Mögliche Fortsetzungen:

• Frankreich (sehr wahrscheinlich)
• Mode (weniger wahrscheinlich)
• Gurken (unwahrscheinlich)

Antworten gibt es immer ...

... auch wenn sie falsch sind

Ein LLM wird immer etwas antworten – selbst wenn es keine passende Information kennt.

Warum? Weil es keinen "Ich weiß es nicht"-Zustand kennt. Es muss aus allen möglichen Antworten die statistisch wahrscheinlichste wählen – selbst wenn diese nicht korrekt ist.

Daher ist es wichtig, ein LLM mit:

• klaren Anweisungen
• verlässlichen Quellen
• guten Beispielen zu versorgen.

---

Vektoren & Vektorsuche (RAG)

Um präzise Antworten zu liefern, kombiniert man LLMs oft mit einer sogenannten Vektorsuche. Diese Methode nennt sich RAG – Retrieval-Augmented Generation.

So funktioniert RAG:

1. Texte werden in Vektoren umgewandelt → Das sind mathematische Repräsentationen der Bedeutung von Texten.

2. Die Nutzerfrage wird ebenfalls als Vektor interpretiert.

3. Das System sucht die ähnlichsten Inhalte → ...aus einer Wissensdatenbank (z. B. Dokumentation, Webseiten, FAQs).

4. Diese Inhalte werden dem LLM als Kontext mitgegeben.

5. Das LLM formuliert darauf basierend eine Antwort.

Vorteile

• Die KI antwortet nicht nur basierend auf Trainingsdaten,
• sondern kann auch auf aktuelle und kontrollierte Inhalte zurückgreifen.

Fazit

Ein LLM ist kein Wissensspeicher, sondern ein Wahrscheinlichkeitsorakel. Mit der richtigen Vorbereitung – z. B. klaren Prompts, Vektorsuche und gutem Kontext – wird daraus jedoch ein zuverlässiger, intelligenter Assistent.