ROCm (Radeon Open Compute)
Definition
ROCm ist AMDs Open-Source-Plattform fuer GPU-Computing, aehnlich wie NVIDIA CUDA. Es unterstuetzt PyTorch und TensorFlow und ist die Grundlage fuer KI-Training auf AMD-GPUs. ROCm 7 brachte deutliche Verbesserungen bei Performance und Kompatibilitaet.
Beispiel
ROCm ermoeglicht das Training von LLMs auf AMD MI300X Beschleunigern.
Verwandte Begriffe
Mehr aus “AI/ML”
FP4 (4-bit Floating Point)
FP4 ist ein 4-bit-Gleitkommaformat, das von NVIDIA mit der RTX-50-Serie eingefuehrt wurde. Es halbiert den Speicherbedarf gegenueber INT8 und ermoeglicht extrem schnelle AI-Inferenz. Die 5. Generation der Tensor Cores unterstuetzt FP4 nativ.
BF16 (Bfloat16)
BF16 (Brain Float 16) ist ein von Google entwickeltes 16-bit-Format, das den gleichen Dynamikbereich wie FP32 bietet. Es ist stabiler als FP16 beim Training grosser Modelle und wird von allen modernen AI-Beschleunigern (TPU, H100, A100) unterstuetzt.
Metal (Apple GPU Framework)
Metal ist Apples Low-Level-API fuer GPU-Programmierung auf iOS und macOS. Es wird von Core ML und MLX fuer KI-Workloads genutzt. Metal Performance Shaders bieten optimierte Kernel fuer AI-Inferenz auf Apple Silicon.
AI Agent
Ein AI Agent ist ein KI-System, das eigenstaendig Aufgaben plant und ausfuehrt, indem es Tools, APIs und Datenquellen nutzt. Es bricht komplexe Anfragen in Teilschritte herunter und kann Code schreiben, Web-Recherche betreiben und Entscheidungen treffen.