NPU (Neural Processing Unit)
Definition
Eine NPU ist ein spezialisierter Prozessor für KI-Inference-Aufgaben. Sie ist extrem energieeffizient und entlastet CPU und GPU bei AI-Workloads. Moderne Smartphones und Laptops integrieren NPUs direkt im SoC. Die Leistung wird in TOPS (Tera Operations Per Second) gemessen.
Beispiel
Der Snapdragon X2 Elite erreicht über 80 TOPS mit seiner integrierten NPU.
Verwandte Begriffe
Mehr aus “AI/ML”
AI Agent
Ein AI Agent ist ein KI-System, das eigenständig Aufgaben plant und ausführt, indem es Tools, APIs und Datenquellen nutzt. Es bricht komplexe Anfragen in Teilschritte herunter und kann Code schreiben, Web-Recherche betreiben und Entscheidungen treffen. Multi-Agent-Systems orchestrieren mehrere Agenten.
Vector Database
Eine Vector Database speichert Embeddings und ermöglicht schnelle Ähnlichkeitssuche. Sie ist essenziell für RAG-Systeme und AI-Anwendungen. Bekannte Vector DBs sind Pinecone, Weaviate, Qdrant und Chroma. Sie nutzen Approximate Nearest Neighbor (ANN) Algorithmen.
Neural Network (Neuronales Netz)
Ein Neural Network ist ein vom menschlichen Gehirn inspiriertes KI-Modell aus verbundenen Knoten (Neuronen) in Schichten. Es lernt aus Daten, indem es Gewichte anpasst. Tiefe Netzwerke (Deep Learning) mit vielen Schichten können extrem komplexe Muster erkennen.
Transformer (Architektur)
Die Transformer-Architektur wurde 2017 von Google eingeführt und ist die Grundlage aller modernen LLMs. Sie nutzt Self-Attention-Mechanismen, um Beziehungen zwischen allen Tokens gleichzeitig zu erfassen. Dadurch sind Transformer stark parallelisierbar und skalierbar.