RLHF (Reinforcement Learning from Human Feedback)
Definition
RLHF ist eine Trainingsmethode, bei der ein LLM durch menschliches Feedback lernt. Menschen bewerten verschiedene Modell-Antworten, und ein Belohnungsmodell trainiert das LLM, bevorzugte Antworten zu generieren. RLHF war entscheidend fuer den Erfolg von ChatGPT.
Beispiel
ChatGPT wurde mit RLHF trainiert, um hilfreiche und sichere Antworten zu priorisieren.
Verwandte Begriffe
Mehr aus “AI/ML”
Knowledge Distillation
Knowledge Distillation ist eine Technik, bei der ein grosses 'Teacher'-Modell ein kleineres 'Student'-Modell trainiert. Das Student-Modell lernt, die Ausgaben des Teachers nachzuahmen, erreicht aber aehnliche Performance mit deutlich weniger Parametern.
Embedding (Vektor-Repraesentation)
Ein Embedding ist die Darstellung von Daten als Vektor aus Zahlen, wobei aehnliche Inhalte nahe beieinander liegen. Embeddings sind die Grundlage fuer semantische Suche, Empfehlungssysteme und RAG. Sie werden von speziellen Modellen wie text-embedding-3 erzeugt.
Stable Diffusion
Stable Diffusion ist ein Open-Source-Diffusionsmodell fuer Bildgenerierung von Stability AI. Es kann lokal auf Consumer-GPUs ausgefuehrt werden und hat die KI-Bildgenerierung demokratisiert. Version 3.5 bietet stark verbesserte Textwiedergabe und Fotorealismus.
ONNX (Open Neural Network Exchange)
ONNX ist ein offenes Format fuer KI-Modelle, das den Austausch zwischen verschiedenen Frameworks (PyTorch, TensorFlow, etc.) ermoeglicht. Ein in PyTorch trainiertes Modell kann als ONNX exportiert und auf jeder Hardware ausgefuehrt werden. ONNX Runtime ist die entsprechende Inferenz-Engine.