INT8 (8-bit Integer)
Definition
INT8 ist das am haeufigsten verwendete Quantisierungsformat fuer KI-Inferenz. Es bietet eine gute Balance zwischen Praezision und Effizienz. Die meisten NPUs sind auf INT8 optimiert, und TOPS-Werte werden typischerweise fuer INT8 angegeben.
Beispiel
Ein NPU mit 45 TOPS INT8 kann approximately 22 TFLOPS FP16 leisten.
Verwandte Begriffe
Mehr aus “AI/ML”
VAE (Variational Autoencoder)
Ein VAE ist ein Neural Network, das Daten komprimiert und rekonstruiert. Im Gegensatz zu klassischen Autoencodern erzeugt der latente Raum eine kontinuierliche Verteilung, die das Generieren neuer Daten ermoeglicht. VAEs werden oft als Komponente in Diffusionsmodellen eingesetzt.
FP16 (Half Precision)
FP16 (16-bit Floating Point) ist das Standardformat fuer KI-Training und Inferenz. Es bietet ausreichend Praezision fuer die meisten Modelle bei halbem Speicherbedarf gegenueber FP32. Tensor Cores sind fuer FP16 optimiert.
Hallucination (KI)
Hallucination beschreibt das Phaenomen, dass ein LLM selbstbewusst falsche oder erfundene Informationen ausgibt. Es entsteht durch statistische Muster im Training, die nicht mit Fakten uebereinstimmen. RAG und bessere Fine-Tuning-Methoden reduzieren Halluzinationen.
FP8 (8-bit Floating Point)
FP8 ist ein 8-bit-Gleitkommaformat, das 2022 von NVIDIA, AMD und ARM gemeinsam spezifiziert wurde. Es bietet hoehere Praezision als INT8 bei gleichem Speicherbedarf. Die RTX 50-Serie unterstuetzt FP4 und FP8 nativ fuer maximale AI-Performance.