FP8 (8-bit Floating Point)
Definition
FP8 ist ein 8-bit-Gleitkommaformat, das 2022 von NVIDIA, AMD und ARM gemeinsam spezifiziert wurde. Es bietet hoehere Praezision als INT8 bei gleichem Speicherbedarf. Die RTX 50-Serie unterstuetzt FP4 und FP8 nativ fuer maximale AI-Performance.
Beispiel
FP8-Training kann die Geschwindigkeit gegenueber BF16 verdoppeln.
Verwandte Begriffe
Mehr aus “AI/ML”
BF16 (Bfloat16)
BF16 (Brain Float 16) ist ein von Google entwickeltes 16-bit-Format, das den gleichen Dynamikbereich wie FP32 bietet. Es ist stabiler als FP16 beim Training grosser Modelle und wird von allen modernen AI-Beschleunigern (TPU, H100, A100) unterstuetzt.
Alignment (KI-Ausrichtung)
Alignment beschreibt die Ausrichtung von KI-Systemen auf menschliche Werte und Ziele. Ein gut ausgerichtetes KI-System tut, was Menschen wollen, ohne schaedliche Nebenwirkungen. RLHF und Constitutional AI sind wichtige Alignment-Techniken.
Fine-Tuning
Fine-Tuning ist die Anpassung eines vortrainierten Modells an eine spezifische Aufgabe oder Doemaene. Es benötigt deutlich weniger Daten und Rechenleistung als das Training von Grund auf. LoRA und QLoRA sind beliebte effiziente Fine-Tuning-Methoden.
Deep Learning
Deep Learning ist ein Teilbereich des Machine Learning, der Neural Networks mit vielen Schichten verwendet. Es ermoeglicht das Lernen hierarchischer Merkmale aus grossen Datenmengen. Deep Learning treibt Innovationen in Bilderkennung, Sprachverarbeitung und autonomen Systemen.