INT8 (8-bit Integer)
Definition
INT8 ist das am haeufigsten verwendete Quantisierungsformat fuer KI-Inferenz. Es bietet eine gute Balance zwischen Praezision und Effizienz. Die meisten NPUs sind auf INT8 optimiert, und TOPS-Werte werden typischerweise fuer INT8 angegeben.
Beispiel
Ein NPU mit 45 TOPS INT8 kann approximately 22 TFLOPS FP16 leisten.
Verwandte Begriffe
Mehr aus “AI/ML”
Neural Network (Neuronales Netz)
Ein Neural Network ist ein vom menschlichen Gehirn inspiriertes KI-Modell aus verbundenen Knoten (Neuronen) in Schichten. Es lernt aus Daten, indem es Gewichte anpasst. Tiefe Netzwerke (Deep Learning) mit vielen Schichten koennen extrem komplexe Muster erkennen.
Inference (Inferenz)
Inference ist die Anwendung eines trainierten KI-Modells auf neue Daten, um Vorhersagen zu generieren. Sie ist weniger rechenintensiv als das Training, erfordert aber dennoch NPUs oder GPUs fuer Echtzeit-Anwendungen. Edge-Inference findet direkt auf dem Geraet statt.
AI Agent
Ein AI Agent ist ein KI-System, das eigenstaendig Aufgaben plant und ausfuehrt, indem es Tools, APIs und Datenquellen nutzt. Es bricht komplexe Anfragen in Teilschritte herunter und kann Code schreiben, Web-Recherche betreiben und Entscheidungen treffen.
AI-PC
Ein AI-PC ist ein Computer mit integrierter NPU, der KI-Aufgaben lokal und energieeffizient ausfuehrt. Microsoft definiert AI-PCs mit mindestens 40 TOPS und Copilot+ Funktion. Sie ermoeglichen Features wie Live-Untertitel, Bildgenerierung und lokale LLMs ohne Cloud.