Training (Modell-Training)
Definition
Training ist der Prozess, bei dem ein KI-Modell aus Daten lernt, indem es seine internen Gewichte iterativ anpasst. Es verwendet Algorithmen wie Backpropagation und Gradient Descent. Das Training großer Modelle kann Wochen bis Monate auf Clustern von GPUs dauern.
Beispiel
Das Training von GPT-4 kostete schätzungsweise über 100 Millionen Dollar an Rechenleistung.
Verwandte Begriffe
Mehr aus “AI/ML”
Attention Mechanism
Attention ist ein Konzept in Neural Networks, das dem Modell ermöglicht, sich auf relevante Teile der Eingabe zu konzentrieren. Self-Attention berechnet für jedes Token, wie stark es alle anderen Tokens beeinflusst. Multi-Head Attention ist ein Kernbaustein der Transformer-Architektur.
Transformer (Architektur)
Die Transformer-Architektur wurde 2017 von Google eingeführt und ist die Grundlage aller modernen LLMs. Sie nutzt Self-Attention-Mechanismen, um Beziehungen zwischen allen Tokens gleichzeitig zu erfassen. Dadurch sind Transformer stark parallelisierbar und skalierbar.
AI-PC
Ein AI-PC ist ein Computer mit integrierter NPU, der KI-Aufgaben lokal und energieeffizient ausführt. Microsoft definiert AI-PCs mit mindestens 40 TOPS und Copilot+ Funktion. Sie ermöglichen Features wie Live-Untertitel, Bildgenerierung und lokale LLMs ohne Cloud.
LoRA (Low-Rank Adaptation)
LoRA ist eine effiziente Fine-Tuning-Methode, die nur einen kleinen Satz zusätzlicher Parameter trainiert statt des gesamten Modells. Dies reduziert Speicherbedarf und Trainingskosten um den Faktor 10 bis 100. QLoRA kombiniert LoRA mit Quantisierung für noch mehr Effizienz.