Fine-Tuning
Definition
Fine-Tuning ist die Anpassung eines vortrainierten Modells an eine spezifische Aufgabe oder Doemaene. Es benötigt deutlich weniger Daten und Rechenleistung als das Training von Grund auf. LoRA und QLoRA sind beliebte effiziente Fine-Tuning-Methoden.
Beispiel
Ein auf medizinischen Texten fine-getuntes LLM kann Diagnosen praeziser erstellen als das Basis-Modell.
Verwandte Begriffe
Mehr aus “AI/ML”
DALL-E
DALL-E ist OpenAIs Bildgenerierungsmodell, das Text-Prompts in Bilder umwandelt. DALL-E 3 ist in ChatGPT integriert und ermoeglicht natuerlichsprachige Bildbeschreibungen. Es versteht komplexe Prompts und generiert konsistente Bilder mit lesbarem Text.
Quantization (Quantisierung)
Quantization reduziert die Praezision der Gewichte in einem KI-Modell (z. B. von FP16 auf INT4). Dadurch werden Modellgroesse und Speicherbedarf massiv verringert, bei minimalen Genauigkeitsverlusten. INT4 und INT8 sind die gaengigsten Formate fuer Edge-Inferenz.
Training (Modell-Training)
Training ist der Prozess, bei dem ein KI-Modell aus Daten lernt, indem es seine internen Gewichte iterativ anpasst. Es verwendet Algorithmen wie Backpropagation und Gradient Descent. Das Training grosser Modelle kann Wochen bis Monate dauern.
Context Window (Kontextfenster)
Das Context Window ist die maximale Anzahl an Tokens, die ein LLM gleichzeitig verarbeiten kann. Es umfasst Eingabe und Ausgabe. Groessere Context Windows erlauben laengere Dokumente und ausgedehntere Konversationen. Gemini 2 erreicht 2 Millionen Tokens.