ONNX (Open Neural Network Exchange)
Definition
ONNX ist ein offenes Format fuer KI-Modelle, das den Austausch zwischen verschiedenen Frameworks (PyTorch, TensorFlow, etc.) ermoeglicht. Ein in PyTorch trainiertes Modell kann als ONNX exportiert und auf jeder Hardware ausgefuehrt werden. ONNX Runtime ist die entsprechende Inferenz-Engine.
Beispiel
Ein in PyTorch trainiertes Modell wird als ONNX exportiert und auf einem NPU ausgefuehrt.
Verwandte Begriffe
Mehr aus “AI/ML”
FP8 (8-bit Floating Point)
FP8 ist ein 8-bit-Gleitkommaformat, das 2022 von NVIDIA, AMD und ARM gemeinsam spezifiziert wurde. Es bietet hoehere Praezision als INT8 bei gleichem Speicherbedarf. Die RTX 50-Serie unterstuetzt FP4 und FP8 nativ fuer maximale AI-Performance.
BF16 (Bfloat16)
BF16 (Brain Float 16) ist ein von Google entwickeltes 16-bit-Format, das den gleichen Dynamikbereich wie FP32 bietet. Es ist stabiler als FP16 beim Training grosser Modelle und wird von allen modernen AI-Beschleunigern (TPU, H100, A100) unterstuetzt.
Zero Trust (Sicherheit)
Zero Trust ist ein Sicherheitsmodell, das keinem Geraet oder Benutzer von vornherein vertraut, unabhaengig vom Netzwerk. Jede Anfrage muss authentifiziert und autorisiert werden. In KI-Systemen verhindert Zero Trust, dass kompromittierte Endgeraete auf Modelle oder Daten zugreifen.
ROCm (Radeon Open Compute)
ROCm ist AMDs Open-Source-Plattform fuer GPU-Computing, aehnlich wie NVIDIA CUDA. Es unterstuetzt PyTorch und TensorFlow und ist die Grundlage fuer KI-Training auf AMD-GPUs. ROCm 7 brachte deutliche Verbesserungen bei Performance und Kompatibilitaet.