CUDA (Compute Unified Device Architecture)
Definition
CUDA ist NVIDIAs parallele Computing-Plattform und Programmiermodell fuer GPUs. Es ermoeglicht Entwicklern, die Rechenleistung von NVIDIA-GPUs fuer nicht-grafische Aufgaben wie KI-Training zu nutzen. CUDA ist der De-facto-Standard fuer GPU-Computing in der KI-Forschung.
Beispiel
PyTorch nutzt CUDA nativ, um KI-Modelle auf NVIDIA-GPUs zu trainieren.
Verwandte Begriffe
Mehr aus “AI/ML”
Fine-Tuning
Fine-Tuning ist die Anpassung eines vortrainierten Modells an eine spezifische Aufgabe oder Doemaene. Es benötigt deutlich weniger Daten und Rechenleistung als das Training von Grund auf. LoRA und QLoRA sind beliebte effiziente Fine-Tuning-Methoden.
Training (Modell-Training)
Training ist der Prozess, bei dem ein KI-Modell aus Daten lernt, indem es seine internen Gewichte iterativ anpasst. Es verwendet Algorithmen wie Backpropagation und Gradient Descent. Das Training grosser Modelle kann Wochen bis Monate dauern.
ONNX (Open Neural Network Exchange)
ONNX ist ein offenes Format fuer KI-Modelle, das den Austausch zwischen verschiedenen Frameworks (PyTorch, TensorFlow, etc.) ermoeglicht. Ein in PyTorch trainiertes Modell kann als ONNX exportiert und auf jeder Hardware ausgefuehrt werden. ONNX Runtime ist die entsprechende Inferenz-Engine.
QLoRA (Quantized LoRA)
QLoRA kombiniert LoRA mit 4-bit Quantisierung des Basis-Modells. Dadurch wird der Speicherbedarf drastisch reduziert, sodass sogar 70-Milliarden-Parameter-Modelle auf einer einzelnen GPU fine-getuned werden koennen. Es ist der De-facto-Standard fuer ressourceneffizientes Fine-Tuning.