CUDA (Compute Unified Device Architecture)
Definition
CUDA ist NVIDIAs parallele Computing-Plattform und Programmiermodell fuer GPUs. Es ermoeglicht Entwicklern, die Rechenleistung von NVIDIA-GPUs fuer nicht-grafische Aufgaben wie KI-Training zu nutzen. CUDA ist der De-facto-Standard fuer GPU-Computing in der KI-Forschung.
Beispiel
PyTorch nutzt CUDA nativ, um KI-Modelle auf NVIDIA-GPUs zu trainieren.
Verwandte Begriffe
Mehr aus “AI/ML”
AI-PC
Ein AI-PC ist ein Computer mit integrierter NPU, der KI-Aufgaben lokal und energieeffizient ausfuehrt. Microsoft definiert AI-PCs mit mindestens 40 TOPS und Copilot+ Funktion. Sie ermoeglichen Features wie Live-Untertitel, Bildgenerierung und lokale LLMs ohne Cloud.
NPU (Neural Processing Unit)
Eine NPU ist ein spezialisierter Prozessor fuer KI-Inference-Aufgaben. Sie ist extrem energieeffizient und entlastet CPU und GPU bei AI-Workloads. Moderne Smartphones und Laptops integrieren NPUs direkt im SoC. Die Leistung wird in TOPS gemessen.
Hallucination (KI)
Hallucination beschreibt das Phaenomen, dass ein LLM selbstbewusst falsche oder erfundene Informationen ausgibt. Es entsteht durch statistische Muster im Training, die nicht mit Fakten uebereinstimmen. RAG und bessere Fine-Tuning-Methoden reduzieren Halluzinationen.
BF16 (Bfloat16)
BF16 (Brain Float 16) ist ein von Google entwickeltes 16-bit-Format, das den gleichen Dynamikbereich wie FP32 bietet. Es ist stabiler als FP16 beim Training grosser Modelle und wird von allen modernen AI-Beschleunigern (TPU, H100, A100) unterstuetzt.