Token
Definition
Ein Token ist die Grundeinheit, die ein LLM verarbeitet. Ein Token entspricht durchschnittlich etwa 0,75 Woertern oder 4 Zeichen. Die Token-Anzahl bestimmt Verarbeitungsdauer und Kosten einer API-Anfrage.
Beispiel
Der Satz 'Kuenstliche Intelligenz veraendert die Welt' besteht aus etwa 8 Tokens.
Verwandte Begriffe
Mehr aus “AI/ML”
Attention Mechanism
Attention ist ein Konzept in Neural Networks, das dem Modell ermoeglicht, sich auf relevante Teile der Eingabe zu konzentrieren. Self-Attention berechnet fuer jedes Token, wie stark es alle anderen Tokens beeinflusst. Multi-Head Attention ist ein Kernbaustein der Transformer-Architektur.
RAG Pipeline
Eine RAG Pipeline ist die Verkettung von Komponenten fuer Retrieval-Augmented Generation: Dokumenten-Ingestion, Chunking, Embedding, Vector-DB-Speicherung, Retrieval und LLM-Generierung. Jeder Schritt kann optimiert werden. Moderne RAG-Pipelines nutzen Re-Ranking und Hybrid Search.
TOPS (Tera Operations Per Second)
TOPS ist die Messeinheit fuer die KI-Rechenleistung eines Prozessors. Ein TOPS entspricht einer Billion Operationen pro Sekunde. Microsofts Copilot+ Standard erfordert mindestens 40 TOPS. Haeufigere TOPS bedeuten jedoch nicht automatisch bessere AI-Performance.
Matrix Multiply (GEMM)
Matrix Multiply (General Matrix Multiply, GEMM) ist die fundamentale Operation in Neural Networks. praktisch alle Berechnungen in einem LLM lassen sich auf Matrix-Multiplikation zurueckfuehren. Tensor Cores und NPUs sind hardwareseitig fuer maximale GEMM-Performance optimiert.