FP4 (4-bit Floating Point)
Definition
FP4 ist ein 4-bit-Gleitkommaformat, das von NVIDIA mit der RTX-50-Serie eingefuehrt wurde. Es halbiert den Speicherbedarf gegenueber INT8 und ermoeglicht extrem schnelle AI-Inferenz. Die 5. Generation der Tensor Cores unterstuetzt FP4 nativ.
Beispiel
Ein 70B-LLM in FP4 braucht nur 35 GB VRAM und laesst sich auf einer RTX 5090 ausfuehren.
Verwandte Begriffe
Mehr aus “AI/ML”
Quantization (Quantisierung)
Quantization reduziert die Praezision der Gewichte in einem KI-Modell (z. B. von FP16 auf INT4). Dadurch werden Modellgroesse und Speicherbedarf massiv verringert, bei minimalen Genauigkeitsverlusten. INT4 und INT8 sind die gaengigsten Formate fuer Edge-Inferenz.
Inference Engine
Eine Inference Engine ist die Software-Komponente, die ein trainiertes KI-Modell ausfuehrt. Sie optimiert die Modellausfuehrung fuer die jeweilige Hardware (CPU, GPU, NPU). Bekannte Engines sind ONNX Runtime, TensorRT, OpenVINO und Core ML.
TinyML
TinyML ist das Feld des Machine Learning fuer extrem ressourcenbeschraenkte Geraete (Mikrocontroller, Sensoren). Modelle werden auf wenige Kilobyte komprimiert. Typische Anwendungen sind Keyword-Spotting, Gestenerkennung und Anomalie-Erkennung auf Batterie-Geraeten.
MLX (Apple ML Framework)
MLX ist Apples Open-Source-Machine-Learning-Framework, speziell fuer Apple Silicon optimiert. Es nutzt Unified Memory und die Neural Engine effizient. MLX ermoeglicht das Training und die Inferenz von LLMs auf Macs mit bisher unerreichter Effizienz.