FP16 (Half Precision)
Definition
FP16 (16-bit Floating Point) ist das Standardformat fuer KI-Training und Inferenz. Es bietet ausreichend Praezision fuer die meisten Modelle bei halbem Speicherbedarf gegenueber FP32. Tensor Cores sind fuer FP16 optimiert.
Beispiel
FP16-Training ist 2-3x schneller als FP32 auf Tensor-Core-GPUs.
Verwandte Begriffe
Mehr aus “AI/ML”
RLHF (Reinforcement Learning from Human Feedback)
RLHF ist eine Trainingsmethode, bei der ein LLM durch menschliches Feedback lernt. Menschen bewerten verschiedene Modell-Antworten, und ein Belohnungsmodell trainiert das LLM, bevorzugte Antworten zu generieren. RLHF war entscheidend fuer den Erfolg von ChatGPT.
MLX (Apple ML Framework)
MLX ist Apples Open-Source-Machine-Learning-Framework, speziell fuer Apple Silicon optimiert. Es nutzt Unified Memory und die Neural Engine effizient. MLX ermoeglicht das Training und die Inferenz von LLMs auf Macs mit bisher unerreichter Effizienz.
DistilBERT
DistilBERT ist eine komprimierte Version von BERT, die durch Knowledge Distillation erstellt wurde. Sie hat 40% weniger Parameter und ist 60% schneller, behaelt aber 97% der Sprachverstaendnis-Leistung. DistilBERT ist ein Paradebeispiel fuer effizientes Model Compression.
Stable Diffusion
Stable Diffusion ist ein Open-Source-Diffusionsmodell fuer Bildgenerierung von Stability AI. Es kann lokal auf Consumer-GPUs ausgefuehrt werden und hat die KI-Bildgenerierung demokratisiert. Version 3.5 bietet stark verbesserte Textwiedergabe und Fotorealismus.