TOPS (Tera Operations Per Second)
Definition
TOPS ist die Messeinheit fuer die KI-Rechenleistung eines Prozessors. Ein TOPS entspricht einer Billion Operationen pro Sekunde. Microsofts Copilot+ Standard erfordert mindestens 40 TOPS. Haeufigere TOPS bedeuten jedoch nicht automatisch bessere AI-Performance.
Beispiel
Ein AI-PC mit 80 TOPS kann lokale LLMs mit 7 Milliarden Parametern fluessig ausfuehren.
Verwandte Begriffe
Mehr aus “AI/ML”
LangChain
LangChain ist ein beliebtes Open-Source-Framework fuer die Entwicklung von LLM-Anwendungen. Es provides Module fuer Prompt-Management, Chains, Agenten, Memory und RAG-Pipelines. LangChain unterstuetzt alle grossen LLM-Anbieter und Vector Databases.
OpenVINO
OpenVINO ist Intels Open-Source-Toolkit fuer KI-Inferenz-Optimierung. Es optimiert Modelle fuer Intel-Hardware (CPU, integrierte GPU, NPU) und bietet signifikante Performance-Verbesserungen. OpenVINO unterstuetzt ONNX-Modelle als Eingabe.
Embedding (Vektor-Repraesentation)
Ein Embedding ist die Darstellung von Daten als Vektor aus Zahlen, wobei aehnliche Inhalte nahe beieinander liegen. Embeddings sind die Grundlage fuer semantische Suche, Empfehlungssysteme und RAG. Sie werden von speziellen Modellen wie text-embedding-3 erzeugt.
Model Compression
Model Compression umfasst verschiedene Techniken, um KI-Modelle kleiner und effizienter zu machen. Dazu zaehlen Quantisierung, Pruning, Knowledge Distillation und Low-Rank Factorization. Ziel ist der Einsatz auf Geraeten mit begrenzten Ressourcen.