Training (Modell-Training)
Definition
Training ist der Prozess, bei dem ein KI-Modell aus Daten lernt, indem es seine internen Gewichte iterativ anpasst. Es verwendet Algorithmen wie Backpropagation und Gradient Descent. Das Training grosser Modelle kann Wochen bis Monate dauern.
Beispiel
Das Training von GPT-4 kostete schatzungsweise ueber 100 Millionen Dollar an Rechenleistung.
Verwandte Begriffe
Mehr aus “AI/ML”
JAX
JAX ist Googles numerisches Computing-Framework mit automatischer Differenzierung und XLA-Compiler fuer GPU/TPU. Es ist die Grundlage fuer moderne KI-Forschung bei Google DeepMind. JAX ermoeglicht funktionale Programmierung mit NumPy-Syntax und nativer Beschleuniger-Unterstuetzung.
Matrix Multiply (GEMM)
Matrix Multiply (General Matrix Multiply, GEMM) ist die fundamentale Operation in Neural Networks. praktisch alle Berechnungen in einem LLM lassen sich auf Matrix-Multiplikation zurueckfuehren. Tensor Cores und NPUs sind hardwareseitig fuer maximale GEMM-Performance optimiert.
Midjourney API
Die Midjourney API ermoeglicht Entwicklern, Bildgenerierung programmatisch in Anwendungen zu integrieren. Midjourney ist bekannt fuer seine kuenstlerisch hochwertigen Bilder mit eigenem Stil. Die API wurde 2025 veroeffentlicht und ermoeglicht kommerzielle Nutzung.
DistilBERT
DistilBERT ist eine komprimierte Version von BERT, die durch Knowledge Distillation erstellt wurde. Sie hat 40% weniger Parameter und ist 60% schneller, behaelt aber 97% der Sprachverstaendnis-Leistung. DistilBERT ist ein Paradebeispiel fuer effizientes Model Compression.