Quantization (Quantisierung)
Definition
Quantization reduziert die Praezision der Gewichte in einem KI-Modell (z. B. von FP16 auf INT4). Dadurch werden Modellgroesse und Speicherbedarf massiv verringert, bei minimalen Genauigkeitsverlusten. INT4 und INT8 sind die gaengigsten Formate fuer Edge-Inferenz.
Beispiel
Ein 8B-LLM in INT4 braucht nur noch 4 GB statt 16 GB VRAM.
Verwandte Begriffe
Mehr aus “AI/ML”
Midjourney API
Die Midjourney API ermoeglicht Entwicklern, Bildgenerierung programmatisch in Anwendungen zu integrieren. Midjourney ist bekannt fuer seine kuenstlerisch hochwertigen Bilder mit eigenem Stil. Die API wurde 2025 veroeffentlicht und ermoeglicht kommerzielle Nutzung.
TOPS (Tera Operations Per Second)
TOPS ist die Messeinheit fuer die KI-Rechenleistung eines Prozessors. Ein TOPS entspricht einer Billion Operationen pro Sekunde. Microsofts Copilot+ Standard erfordert mindestens 40 TOPS. Haeufigere TOPS bedeuten jedoch nicht automatisch bessere AI-Performance.
RAG (Retrieval-Augmented Generation)
RAG kombiniert ein LLM mit einer externen Wissensdatenbank, um aktuellere und praesisere Antworten zu liefern. Das System sucht zuerst relevante Dokumente und uebergibt sie als Kontext an das LLM. RAG reduziert Halluzinationen und ermueglicht das Abfragen privater Daten.
BF16 (Bfloat16)
BF16 (Brain Float 16) ist ein von Google entwickeltes 16-bit-Format, das den gleichen Dynamikbereich wie FP32 bietet. Es ist stabiler als FP16 beim Training grosser Modelle und wird von allen modernen AI-Beschleunigern (TPU, H100, A100) unterstuetzt.