INT4 (4-bit Integer)
Definition
INT4 ist ein Quantisierungsformat, das Gewichte mit nur 4 Bits speichert. Es reduziert den Speicherbedarf eines Modells um den Faktor 4 gegenueber FP16. Moderne NPUs und GPUs (wie RTX 50 mit FP4) unterstuetzen INT4/FP4 nativ fuer maximale Effizienz.
Beispiel
Llama 3 70B in INT4 benoetigt nur 35 GB VRAM statt 140 GB in FP16.
Verwandte Begriffe
Mehr aus “AI/ML”
Neural Network (Neuronales Netz)
Ein Neural Network ist ein vom menschlichen Gehirn inspiriertes KI-Modell aus verbundenen Knoten (Neuronen) in Schichten. Es lernt aus Daten, indem es Gewichte anpasst. Tiefe Netzwerke (Deep Learning) mit vielen Schichten koennen extrem komplexe Muster erkennen.
RAG (Retrieval-Augmented Generation)
RAG kombiniert ein LLM mit einer externen Wissensdatenbank, um aktuellere und praesisere Antworten zu liefern. Das System sucht zuerst relevante Dokumente und uebergibt sie als Kontext an das LLM. RAG reduziert Halluzinationen und ermueglicht das Abfragen privater Daten.
DistilBERT
DistilBERT ist eine komprimierte Version von BERT, die durch Knowledge Distillation erstellt wurde. Sie hat 40% weniger Parameter und ist 60% schneller, behaelt aber 97% der Sprachverstaendnis-Leistung. DistilBERT ist ein Paradebeispiel fuer effizientes Model Compression.
Zero Trust (Sicherheit)
Zero Trust ist ein Sicherheitsmodell, das keinem Geraet oder Benutzer von vornherein vertraut, unabhaengig vom Netzwerk. Jede Anfrage muss authentifiziert und autorisiert werden. In KI-Systemen verhindert Zero Trust, dass kompromittierte Endgeraete auf Modelle oder Daten zugreifen.