ONNX (Open Neural Network Exchange)
Definition
ONNX ist ein offenes Format fuer KI-Modelle, das den Austausch zwischen verschiedenen Frameworks (PyTorch, TensorFlow, etc.) ermoeglicht. Ein in PyTorch trainiertes Modell kann als ONNX exportiert und auf jeder Hardware ausgefuehrt werden. ONNX Runtime ist die entsprechende Inferenz-Engine.
Beispiel
Ein in PyTorch trainiertes Modell wird als ONNX exportiert und auf einem NPU ausgefuehrt.
Verwandte Begriffe
Mehr aus “AI/ML”
Autoregressive Model
Autoregressive Modelle generieren Daten sequenziell, indem sie jedes neue Element basierend auf den zuvor generierten Elementen vorhersagen. LLMs wie GPT sind autoregressiv: Jedes Token wird basierend auf allen vorherigen Tokens generiert.
LangChain
LangChain ist ein beliebtes Open-Source-Framework fuer die Entwicklung von LLM-Anwendungen. Es provides Module fuer Prompt-Management, Chains, Agenten, Memory und RAG-Pipelines. LangChain unterstuetzt alle grossen LLM-Anbieter und Vector Databases.
Inference Engine
Eine Inference Engine ist die Software-Komponente, die ein trainiertes KI-Modell ausfuehrt. Sie optimiert die Modellausfuehrung fuer die jeweilige Hardware (CPU, GPU, NPU). Bekannte Engines sind ONNX Runtime, TensorRT, OpenVINO und Core ML.
Apple Intelligence
Apple Intelligence ist Apples KI-Plattform fuer iOS, iPadOS und macOS. Sie nutzt On-Device Modelle (Phi-Silika) und Private Cloud Compute fuer komplexe Anfragen. Features umfassen Genmoji, Image Playground, Writing Tools und erweiterte Siri-Faehigkeiten.