LlamaIndex
Definition
LlamaIndex ist ein Data-Framework fuer LLM-Anwendungen, spezialisiert auf die Verbindung von Datenquellen mit LLMs. Es bietet Connector fuer ueber 100 Datenquellen, Index-Strukturen und Retrieval-Methoden. LlamaIndex ist besonders stark im Bereich strukturierte Daten und RAG.
Beispiel
LlamaIndex kann eine SQL-Datenbank mit einem LLM verbinden fuer natursprachliche Datenabfragen.
Mehr aus “AI/ML”
Inference Engine
Eine Inference Engine ist die Software-Komponente, die ein trainiertes KI-Modell ausfuehrt. Sie optimiert die Modellausfuehrung fuer die jeweilige Hardware (CPU, GPU, NPU). Bekannte Engines sind ONNX Runtime, TensorRT, OpenVINO und Core ML.
TinyML
TinyML ist das Feld des Machine Learning fuer extrem ressourcenbeschraenkte Geraete (Mikrocontroller, Sensoren). Modelle werden auf wenige Kilobyte komprimiert. Typische Anwendungen sind Keyword-Spotting, Gestenerkennung und Anomalie-Erkennung auf Batterie-Geraeten.
Edge Inference
Edge Inference fuehrt KI-Modelle direkt auf dem Endgeraet aus, ohne Cloud-Verbindung. Dies reduziert Latenz, spart Bandbreite und schuetzt die Privatsphaere. NPUs mit 40+ TOPS ermoeglichen Edge Inference fuer LLMs mit bis zu 7 Milliarden Parametern.
Stable Diffusion
Stable Diffusion ist ein Open-Source-Diffusionsmodell fuer Bildgenerierung von Stability AI. Es kann lokal auf Consumer-GPUs ausgefuehrt werden und hat die KI-Bildgenerierung demokratisiert. Version 3.5 bietet stark verbesserte Textwiedergabe und Fotorealismus.