Context Window (Kontextfenster)
Definition
Das Context Window ist die maximale Anzahl an Tokens, die ein LLM gleichzeitig verarbeiten kann. Es umfasst Eingabe und Ausgabe. Groessere Context Windows erlauben laengere Dokumente und ausgedehntere Konversationen. Gemini 2 erreicht 2 Millionen Tokens.
Beispiel
Mit einem 1M-Token-Context-Window kann ein LLM ein ganzes Buch auf einmal zusammenfassen.
Verwandte Begriffe
Mehr aus “AI/ML”
Midjourney API
Die Midjourney API ermoeglicht Entwicklern, Bildgenerierung programmatisch in Anwendungen zu integrieren. Midjourney ist bekannt fuer seine kuenstlerisch hochwertigen Bilder mit eigenem Stil. Die API wurde 2025 veroeffentlicht und ermoeglicht kommerzielle Nutzung.
QLoRA (Quantized LoRA)
QLoRA kombiniert LoRA mit 4-bit Quantisierung des Basis-Modells. Dadurch wird der Speicherbedarf drastisch reduziert, sodass sogar 70-Milliarden-Parameter-Modelle auf einer einzelnen GPU fine-getuned werden koennen. Es ist der De-facto-Standard fuer ressourceneffizientes Fine-Tuning.
FLOPS (Floating Point Operations Per Second)
FLOPS misst die Anzahl der Gleitkomma-Operationen pro Sekunde. Im Gegensatz zu TOPS, das ganze Operationen zaehlt, erfasst FLOPS genauer die mathematische Leistung. Es wird in PetaFLOPS (10^15) oder ExaFLOPS (10^18) angegeben.
RLHF (Reinforcement Learning from Human Feedback)
RLHF ist eine Trainingsmethode, bei der ein LLM durch menschliches Feedback lernt. Menschen bewerten verschiedene Modell-Antworten, und ein Belohnungsmodell trainiert das LLM, bevorzugte Antworten zu generieren. RLHF war entscheidend fuer den Erfolg von ChatGPT.