Attention Mechanism
Definition
Attention ist ein Konzept in Neural Networks, das dem Modell ermöglicht, sich auf relevante Teile der Eingabe zu konzentrieren. Self-Attention berechnet für jedes Token, wie stark es alle anderen Tokens beeinflusst. Multi-Head Attention ist ein Kernbaustein der Transformer-Architektur.
Beispiel
Bei der Übersetzung von 'Die Bank ist geschlossen' nutzt Attention den Kontext, um zwischen Geldinstitut und Sitzgelegenheit zu unterscheiden.
Verwandte Begriffe
Mehr aus “AI/ML”
Embedding (Vektor-Repräsentation)
Ein Embedding ist die Darstellung von Daten (Text, Bilder) als Vektor aus Zahlen, wobei ähnliche Inhalte nahe beieinander liegen. Embeddings sind die Grundlage für semantische Suche, Empfehlungssysteme und RAG. Sie werden von speziellen Modellen wie text-embedding-3 erzeugt.
Token
Ein Token ist die Grundeinheit, die ein LLM verarbeitet. Ein Token entspricht durchschnittlich etwa 0,75 Wörtern oder 4 Zeichen. Die Token-Anzahl bestimmt Verarbeitungsdauer und Kosten einer API-Anfrage. Modelle haben ein maximales Token-Limit für Eingabe und Ausgabe.
Deep Learning
Deep Learning ist ein Teilbereich des Machine Learning, der Neural Networks mit vielen Schichten verwendet. Es ermöglicht das Lernen hierarchischer Merkmale aus großen Datenmengen. Deep Learning treibt Innovationen in Bilderkennung, Sprachverarbeitung und autonomen Systemen.
RAG (Retrieval-Augmented Generation)
RAG kombiniert ein LLM mit einer externen Wissensdatenbank, um aktuellere und präzisere Antworten zu liefern. Das System sucht zuerst relevante Dokumente und übergibt sie als Kontext an das LLM. RAG reduziert Halluzinationen und ermöglicht das Abfragen privater Daten.