Autoregressive Model
Definition
Autoregressive Modelle generieren Daten sequenziell, indem sie jedes neue Element basierend auf den zuvor generierten Elementen vorhersagen. LLMs wie GPT sind autoregressiv: Jedes Token wird basierend auf allen vorherigen Tokens generiert.
Beispiel
GPT generiert Text Wort fuer Wort, wobei jedes Wort von allen vorherigen abhaengt.
Mehr aus “AI/ML”
Neural Network (Neuronales Netz)
Ein Neural Network ist ein vom menschlichen Gehirn inspiriertes KI-Modell aus verbundenen Knoten (Neuronen) in Schichten. Es lernt aus Daten, indem es Gewichte anpasst. Tiefe Netzwerke (Deep Learning) mit vielen Schichten koennen extrem komplexe Muster erkennen.
BF16 (Bfloat16)
BF16 (Brain Float 16) ist ein von Google entwickeltes 16-bit-Format, das den gleichen Dynamikbereich wie FP32 bietet. Es ist stabiler als FP16 beim Training grosser Modelle und wird von allen modernen AI-Beschleunigern (TPU, H100, A100) unterstuetzt.
Edge AI
Edge AI bezeichnet die Ausfuehrung von KI-Modellen direkt auf dem Endgeraet (Smartphone, IoT, PC) statt in der Cloud. Dies reduziert Latenz, spart Bandbreite und schuetzt die Privatsphaere. NPUs sind die Grundlage fuer Edge AI auf mobilen Geraeten.
NPU (Neural Processing Unit)
Eine NPU ist ein spezialisierter Prozessor fuer KI-Inference-Aufgaben. Sie ist extrem energieeffizient und entlastet CPU und GPU bei AI-Workloads. Moderne Smartphones und Laptops integrieren NPUs direkt im SoC. Die Leistung wird in TOPS gemessen.