AI Benchmark
Definition
AI Benchmarks messen die Leistung von Hardware oder Software bei KI-Workloads. Bekannte Benchmarks sind MLPerf (Training/Inference), AI-Benchmark (Smartphone NPU) und LMSYS Chatbot Arena (LLM-Qualitaet). Sie ermoeglichen objektive Vergleiche zwischen verschiedenen Systemen.
Beispiel
MLPerf Inference v5.0 zeigt, dass der NVIDIA H100 2,5x schneller ist als der A100 bei LLM-Inference.
Verwandte Begriffe
Mehr aus “AI/ML”
Inference Optimization
Inference Optimization umfasst Techniken, um die Ausfuehrungsgeschwindigkeit eines trainierten KI-Modells zu erhoehen. Dazu gehoeren Quantization, Pruning, Knowledge Distillation, Speculative Decoding und KV-Cache-Optimierung. Moderne Inference-Engines wie vLLM und TensorRT kombinieren mehrere Techniken.
Prompt Engineering
Prompt Engineering ist die Praxis, Eingaben an ein LLM so zu formulieren, dass die bestmoegliche Ausgabe erzielt wird. Techniken umfassen Few-Shot-Prompting, Chain-of-Thought und System-Prompts. Gutes Prompt Engineering kann die Leistung eines Modells drastisch verbessern.
Alignment (KI-Ausrichtung)
Alignment beschreibt die Ausrichtung von KI-Systemen auf menschliche Werte und Ziele. Ein gut ausgerichtetes KI-System tut, was Menschen wollen, ohne schaedliche Nebenwirkungen. RLHF und Constitutional AI sind wichtige Alignment-Techniken.
LangChain
LangChain ist ein beliebtes Open-Source-Framework fuer die Entwicklung von LLM-Anwendungen. Es provides Module fuer Prompt-Management, Chains, Agenten, Memory und RAG-Pipelines. LangChain unterstuetzt alle grossen LLM-Anbieter und Vector Databases.