RAG (Retrieval-Augmented Generation)
Definition
RAG kombiniert ein LLM mit einer externen Wissensdatenbank, um aktuellere und präzisere Antworten zu liefern. Das System sucht zuerst relevante Dokumente und übergibt sie als Kontext an das LLM. RAG reduziert Halluzinationen und ermöglicht das Abfragen privater Daten.
Beispiel
Ein Unternehmens-Chatbot mit RAG kann interne Handbücher in Echtzeit durchsuchen und korrekt zitieren.
Verwandte Begriffe
Mehr aus “AI/ML”
Fine-Tuning
Fine-Tuning ist die Anpassung eines vortrainierten Modells an eine spezifische Aufgabe oder Domäne. Es benötigt deutlich weniger Daten und Rechenleistung als das Training von Grund auf. LoRA und QLoRA sind beliebte effiziente Fine-Tuning-Methoden.
Transformer (Architektur)
Die Transformer-Architektur wurde 2017 von Google eingeführt und ist die Grundlage aller modernen LLMs. Sie nutzt Self-Attention-Mechanismen, um Beziehungen zwischen allen Tokens gleichzeitig zu erfassen. Dadurch sind Transformer stark parallelisierbar und skalierbar.
Deep Learning
Deep Learning ist ein Teilbereich des Machine Learning, der Neural Networks mit vielen Schichten verwendet. Es ermöglicht das Lernen hierarchischer Merkmale aus großen Datenmengen. Deep Learning treibt Innovationen in Bilderkennung, Sprachverarbeitung und autonomen Systemen.
Hallucination (KI)
Hallucination beschreibt das Phänomen, dass ein LLM selbstbewusst falsche oder erfundene Informationen ausgibt. Es entsteht durch statistische Muster im Training, die nicht mit Fakten übereinstimmen. RAG und bessere Fine-Tuning-Methoden reduzieren Hallucinationen.