NPU (Neural Processing Unit)
Definition
Eine NPU ist ein spezialisierter Prozessor fuer KI-Inference-Aufgaben. Sie ist extrem energieeffizient und entlastet CPU und GPU bei AI-Workloads. Moderne Smartphones und Laptops integrieren NPUs direkt im SoC. Die Leistung wird in TOPS gemessen.
Beispiel
Der Snapdragon X2 Elite erreicht ueber 80 TOPS mit seiner integrierten NPU.
Verwandte Begriffe
Mehr aus “AI/ML”
VAE (Variational Autoencoder)
Ein VAE ist ein Neural Network, das Daten komprimiert und rekonstruiert. Im Gegensatz zu klassischen Autoencodern erzeugt der latente Raum eine kontinuierliche Verteilung, die das Generieren neuer Daten ermoeglicht. VAEs werden oft als Komponente in Diffusionsmodellen eingesetzt.
Hallucination (KI)
Hallucination beschreibt das Phaenomen, dass ein LLM selbstbewusst falsche oder erfundene Informationen ausgibt. Es entsteht durch statistische Muster im Training, die nicht mit Fakten uebereinstimmen. RAG und bessere Fine-Tuning-Methoden reduzieren Halluzinationen.
Embedding (Vektor-Repraesentation)
Ein Embedding ist die Darstellung von Daten als Vektor aus Zahlen, wobei aehnliche Inhalte nahe beieinander liegen. Embeddings sind die Grundlage fuer semantische Suche, Empfehlungssysteme und RAG. Sie werden von speziellen Modellen wie text-embedding-3 erzeugt.
Metal (Apple GPU Framework)
Metal ist Apples Low-Level-API fuer GPU-Programmierung auf iOS und macOS. Es wird von Core ML und MLX fuer KI-Workloads genutzt. Metal Performance Shaders bieten optimierte Kernel fuer AI-Inferenz auf Apple Silicon.