Prompt Engineering
Definition
Prompt Engineering ist die Praxis, Eingaben an ein LLM so zu formulieren, dass die bestmoegliche Ausgabe erzielt wird. Techniken umfassen Few-Shot-Prompting, Chain-of-Thought und System-Prompts. Gutes Prompt Engineering kann die Leistung eines Modells drastisch verbessern.
Beispiel
Ein Chain-of-Thought-Prompt wie 'Denke Schritt fuer Schritt' kann die Mathematik-Leistung eines LLMs um 20% steigern.
Verwandte Begriffe
Mehr aus “AI/ML”
Model Compression
Model Compression umfasst verschiedene Techniken, um KI-Modelle kleiner und effizienter zu machen. Dazu zaehlen Quantisierung, Pruning, Knowledge Distillation und Low-Rank Factorization. Ziel ist der Einsatz auf Geraeten mit begrenzten Ressourcen.
QLoRA (Quantized LoRA)
QLoRA kombiniert LoRA mit 4-bit Quantisierung des Basis-Modells. Dadurch wird der Speicherbedarf drastisch reduziert, sodass sogar 70-Milliarden-Parameter-Modelle auf einer einzelnen GPU fine-getuned werden koennen. Es ist der De-facto-Standard fuer ressourceneffizientes Fine-Tuning.
TinyML
TinyML ist das Feld des Machine Learning fuer extrem ressourcenbeschraenkte Geraete (Mikrocontroller, Sensoren). Modelle werden auf wenige Kilobyte komprimiert. Typische Anwendungen sind Keyword-Spotting, Gestenerkennung und Anomalie-Erkennung auf Batterie-Geraeten.
Vector Database
Eine Vector Database speichert Embeddings und ermoeglicht schnelle Aehnlichkeitssuche. Sie ist essenziell fuer RAG-Systeme und AI-Anwendungen. Bekannte Vector DBs sind Pinecone, Weaviate, Qdrant und Chroma. Sie nutzen Approximate Nearest Neighbor (ANN) Algorithmen.