OpenVINO
Definition
OpenVINO ist Intels Open-Source-Toolkit fuer KI-Inferenz-Optimierung. Es optimiert Modelle fuer Intel-Hardware (CPU, integrierte GPU, NPU) und bietet signifikante Performance-Verbesserungen. OpenVINO unterstuetzt ONNX-Modelle als Eingabe.
Beispiel
OpenVINO kann die Inferenzgeschwindigkeit eines LLMs auf Intel Core Ultra verdreifachen.
Mehr aus “AI/ML”
Neural Network (Neuronales Netz)
Ein Neural Network ist ein vom menschlichen Gehirn inspiriertes KI-Modell aus verbundenen Knoten (Neuronen) in Schichten. Es lernt aus Daten, indem es Gewichte anpasst. Tiefe Netzwerke (Deep Learning) mit vielen Schichten koennen extrem komplexe Muster erkennen.
LlamaIndex
LlamaIndex ist ein Data-Framework fuer LLM-Anwendungen, spezialisiert auf die Verbindung von Datenquellen mit LLMs. Es bietet Connector fuer ueber 100 Datenquellen, Index-Strukturen und Retrieval-Methoden. LlamaIndex ist besonders stark im Bereich strukturierte Daten und RAG.
Triton (GPU Programming)
Triton ist eine von OpenAI entwickelte Programmiersprache fuer GPU-Kernel. Sie ermoeglicht Entwicklern, hochperformante GPU-Kernel in Python-Syntax zu schreiben, ohne CUDA-Experten zu sein. Triton wird in PyTorch 2.0 und Flash Attention verwendet.
LLM (Large Language Model)
Ein LLM ist ein auf riesigen Textmengen trainiertes Neural Network, das menschenahnliche Texte generieren kann. Es verwendet Transformer-Architektur mit Milliarden von Parametern. GPT, Claude, Gemini und Llama sind bekannte Beispiele fuer LLMs.