LoRA Fine-Tuning
Definition
LoRA Fine-Tuning ist der Prozess des Anpassens eines vortrainierten LLM an eine spezifische Aufgabe mit Low-Rank Adaptation. Statt alle Gewichte zu aktualisieren, werden nur zusaetzliche niedrigdimensionale Matrizen trainiert. Dies reduziert Speicherbedarf und Kosten um bis zu 100x.
Beispiel
Ein LoRA-fine-getuntes Llama-3-8B auf medizinischen Daten benoetigt nur 50 MB zusaetzlich.
Mehr aus “AI/ML”
Context Window (Kontextfenster)
Das Context Window ist die maximale Anzahl an Tokens, die ein LLM gleichzeitig verarbeiten kann. Es umfasst Eingabe und Ausgabe. Groessere Context Windows erlauben laengere Dokumente und ausgedehntere Konversationen. Gemini 2 erreicht 2 Millionen Tokens.
Training (Modell-Training)
Training ist der Prozess, bei dem ein KI-Modell aus Daten lernt, indem es seine internen Gewichte iterativ anpasst. Es verwendet Algorithmen wie Backpropagation und Gradient Descent. Das Training grosser Modelle kann Wochen bis Monate dauern.
TOPS (Tera Operations Per Second)
TOPS ist die Messeinheit fuer die KI-Rechenleistung eines Prozessors. Ein TOPS entspricht einer Billion Operationen pro Sekunde. Microsofts Copilot+ Standard erfordert mindestens 40 TOPS. Haeufigere TOPS bedeuten jedoch nicht automatisch bessere AI-Performance.
FP16 (Half Precision)
FP16 (16-bit Floating Point) ist das Standardformat fuer KI-Training und Inferenz. Es bietet ausreichend Praezision fuer die meisten Modelle bei halbem Speicherbedarf gegenueber FP32. Tensor Cores sind fuer FP16 optimiert.