Token
Definition
Ein Token ist die Grundeinheit, die ein LLM verarbeitet. Ein Token entspricht durchschnittlich etwa 0,75 Wörtern oder 4 Zeichen. Die Token-Anzahl bestimmt Verarbeitungsdauer und Kosten einer API-Anfrage. Modelle haben ein maximales Token-Limit für Eingabe und Ausgabe.
Beispiel
Der Satz 'Künstliche Intelligenz verändert die Welt' besteht aus etwa 8 Tokens.
Verwandte Begriffe
Mehr aus “AI/ML”
Edge AI
Edge AI bezeichnet die Ausführung von KI-Modellen direkt auf dem Endgerät (Smartphone, IoT, PC) statt in der Cloud. Dies reduziert Latenz, spart Bandbreite und schützt die Privatsphäre. NPUs sind die Grundlage für Edge AI auf mobilen Geräten.
Deep Learning
Deep Learning ist ein Teilbereich des Machine Learning, der Neural Networks mit vielen Schichten verwendet. Es ermöglicht das Lernen hierarchischer Merkmale aus großen Datenmengen. Deep Learning treibt Innovationen in Bilderkennung, Sprachverarbeitung und autonomen Systemen.
LoRA (Low-Rank Adaptation)
LoRA ist eine effiziente Fine-Tuning-Methode, die nur einen kleinen Satz zusätzlicher Parameter trainiert statt des gesamten Modells. Dies reduziert Speicherbedarf und Trainingskosten um den Faktor 10 bis 100. QLoRA kombiniert LoRA mit Quantisierung für noch mehr Effizienz.
RAG (Retrieval-Augmented Generation)
RAG kombiniert ein LLM mit einer externen Wissensdatenbank, um aktuellere und präzisere Antworten zu liefern. Das System sucht zuerst relevante Dokumente und übergibt sie als Kontext an das LLM. RAG reduziert Halluzinationen und ermöglicht das Abfragen privater Daten.