LLM (Large Language Model)
Definition
Ein LLM ist ein auf riesigen Textmengen trainiertes Neural Network, das menschenähnliche Texte generieren kann. Es verwendet Transformer-Architektur mit Milliarden von Parametern. GPT, Claude, Gemini und Llama sind bekannte Beispiele für LLMs.
Beispiel
GPT-5 hat geschätzt über 3 Billionen Parameter und kann kontextbezogene Texte in Dutzenden Sprachen generieren.
Verwandte Begriffe
Mehr aus “AI/ML”
Context Window (Kontextfenster)
Das Context Window ist die maximale Anzahl an Tokens, die ein LLM gleichzeitig verarbeiten kann. Es umfasst Eingabe und Ausgabe. Größere Context Windows erlauben längere Dokumente, mehrfew-Shot-Beispiele und ausgedehntere Konversationen. Gemini 2 erreicht 2 Millionen Tokens.
Attention Mechanism
Attention ist ein Konzept in Neural Networks, das dem Modell ermöglicht, sich auf relevante Teile der Eingabe zu konzentrieren. Self-Attention berechnet für jedes Token, wie stark es alle anderen Tokens beeinflusst. Multi-Head Attention ist ein Kernbaustein der Transformer-Architektur.
TOPS (Tera Operations Per Second)
TOPS ist die Maßeinheit für die KI-Rechenleistung eines Prozessors. Ein TOPS entspricht einer Billion Operationen pro Sekunde. Microsofts Copilot+ Standard erfordert mindestens 40 TOPS. Höhere TOPS bedeuten jedoch nicht automatisch bessere AI-Performance, da auch Software-Optimierung eine Rolle spielt.
LoRA (Low-Rank Adaptation)
LoRA ist eine effiziente Fine-Tuning-Methode, die nur einen kleinen Satz zusätzlicher Parameter trainiert statt des gesamten Modells. Dies reduziert Speicherbedarf und Trainingskosten um den Faktor 10 bis 100. QLoRA kombiniert LoRA mit Quantisierung für noch mehr Effizienz.