BF16 (Bfloat16)
Definition
BF16 (Brain Float 16) ist ein von Google entwickeltes 16-bit-Format, das den gleichen Dynamikbereich wie FP32 bietet. Es ist stabiler als FP16 beim Training grosser Modelle und wird von allen modernen AI-Beschleunigern (TPU, H100, A100) unterstuetzt.
Beispiel
Google TPUs und NVIDIA H100 verwenden BF16 als Standard-Trainingformat.
Mehr aus “AI/ML”
Matrix Multiply (GEMM)
Matrix Multiply (General Matrix Multiply, GEMM) ist die fundamentale Operation in Neural Networks. praktisch alle Berechnungen in einem LLM lassen sich auf Matrix-Multiplikation zurueckfuehren. Tensor Cores und NPUs sind hardwareseitig fuer maximale GEMM-Performance optimiert.
RLHF (Reinforcement Learning from Human Feedback)
RLHF ist eine Trainingsmethode, bei der ein LLM durch menschliches Feedback lernt. Menschen bewerten verschiedene Modell-Antworten, und ein Belohnungsmodell trainiert das LLM, bevorzugte Antworten zu generieren. RLHF war entscheidend fuer den Erfolg von ChatGPT.
Vector Database
Eine Vector Database speichert Embeddings und ermoeglicht schnelle Aehnlichkeitssuche. Sie ist essenziell fuer RAG-Systeme und AI-Anwendungen. Bekannte Vector DBs sind Pinecone, Weaviate, Qdrant und Chroma. Sie nutzen Approximate Nearest Neighbor (ANN) Algorithmen.
Token
Ein Token ist die Grundeinheit, die ein LLM verarbeitet. Ein Token entspricht durchschnittlich etwa 0,75 Woertern oder 4 Zeichen. Die Token-Anzahl bestimmt Verarbeitungsdauer und Kosten einer API-Anfrage.