NPU: Was ist das? TOPS einfach erklärt
Seit Microsofts Copilot+-Initiative steht die Abkürzung NPU auf nahezu jedem neuen Laptop-Datenblatt. Aber was macht eine Neural Processing Unit tatsächlich — und was bedeutet die TOPS-Angabe, mit der geworben wird? Wir erklären die Grundlagen ohne Marketing-Nebel.
Was ist eine NPU?
Eine NPU (Neural Processing Unit) ist ein spezialisierter Prozessor für neuronale Netze. Während CPU und GPU universell arbeiten, ist die NPU auf genau die Rechenoperationen optimiert, die KI-Modelle dominieren: Matrix-Multiplikationen.
Warum nicht einfach CPU oder GPU?
| Einheit | Stärke | Schwäche bei AI |
|---------|--------|-----------------|
| CPU | Flexibel, gute Single-Thread-Leistung | Zu langsam für große Matrix-Operationen |
| GPU | Parallel stark, gut für Training | Relativ hoher Stromverbrauch bei leichter AI-Last |
| NPU | Maximal effizient für Inference | Nur für feste Operationstypen geeignet |
Der entscheidende Punkt ist Effizienz pro Watt. Eine NPU liefert bei KI-Inferenz oft das 5- bis 10-Fache an Leistung pro Watt im Vergleich zur GPU. In einem Laptop, der auf Akku laufen soll, ist das der entscheidende Unterschied.
Was bedeutet TOPS?
TOPS = Tera-Operations Per Second, also Billionen Operationen pro Sekunde. Gemeint sind typischerweise INT8- oder FP8-Operationen (8-Bit-Ganzzahlen bzw. Gleitkommazahlen), das Standardformat für KI-Inferenz.
Zur Einordnung:
| Einheit | Operationen pro Sekunde |
|----------|------------------------|
| 1 TOPS | 1 Billion (10¹²) |
| 40 TOPS | 40 Billionen |
| High-End-GPU (RTX 5080) | ~1.800 TOPS (FP4, sparse) |
Achtung Fußnoten: Hersteller-Angaben nutzen oft optimale Bedingungen (sparsity, niedrige Präzision). Die real nutzbare Leistung liegt je nach Workload 20–40 % darunter.
Warum 40 TOPS?
Microsoft hat 40 TOPS als Schwelle für die Copilot+ PC-Zertifizierung definiert. Grund: Features wie Recall, Live Captions mit Übersetzung und Studio Effects sollen in Echtzeit lokal laufen können, ohne Akku und CPU zu belasten.
NPU-Leistung aktueller Plattformen
| Plattform | NPU-TOPS | Jahr |
|-----------|----------|------|
| Intel Core Ultra (Meteor Lake) | ~11 | 2023 |
| Intel Core Ultra 200V (Lunar Lake) | 48 | 2024 |
| Intel Core Ultra 300 | ~50+ | 2025/26 |
| AMD Ryzen AI 300 (Strix Point) | 50 | 2024 |
| AMD Ryzen AI Max | 50 | 2025 |
| Snapdragon X Elite / X2 | 45 | 2024/26 |
| Apple M4 / M5 | 38 | 2024/25 |
Apple integriert die Neural Engine in die System-on-Chip-Architektur; die TOPS-Angabe ist mit Vorsicht zu vergleichen, da Apple andere Messmethoden nutzt.
Wofür wird die NPU tatsächlich genutzt?
Heute schon real
| Anwendung | Was die NPU macht |
|-----------|-------------------|
| Bildverbesserung | Rauschfilter, Upscaling in Echtzeit |
| Video-Konferenzen | Hintergrundwechsel, Blickkontakt-Korrektur, Rauschunterdrückung |
| Live-Untertitel | Sprache-Erkennung + Übersetzung lokal |
| Foto-Suche | Semantische Suche im lokalen Bildbestand |
| Recall (Windows) | Lokale Bildschirm-Historie mit OCR/Indexierung |
Zukunftsmusik (aber im Kommen)
Was die NPU NICHT ist
Kein Gamer-Upgrade: Für Spiele-Raycasting und DLSS/FSR ist die GPU zuständig. Die NPU steht dabei praktisch still.
Kein LLM-Wundermittel: Ein 8B-Sprachmodell auf reinem NPU-Durchsatz läuft deutlich langsamer als auf einer dedizierten GPU mit großem VRAM. NPUs sind für leichte, dauerhafte Inferenz gebaut, nicht für schwere Einzel-Workloads.
Kein Selbstzweck: Eine starke NPU nützt nichts, wenn die Software sie nicht anspricht. Direkte NPU-Anbindungen (Windows ML, ONNX, OpenVINO bei Intel, Ryzen AI Software bei AMD) wachsen, aber der Großteil heutiger Software läuft noch auf CPU/GPU.
TOPS richtig vergleichen: Checkliste
Fazit
Die NPU ist kein Marketing-Gag, aber auch kein Quantensprung: Sie ist ein hochspezialisierter Coprozessor, der KI-Aufgaben effizient im Hintergrund erledigt — bei Bruchteilen des Energiebedarfs von CPU oder GPU. Die 40-TOPS-Schwelle ist der praktische Anhaltspunkt für Zukunftsfähigkeit unter Windows. Wer 2026 einen Laptop kauft, sollte sie als Mindeststandard ansetzen, sich aber bewusst sein: Die TOPS-Zahl allein sagt wenig aus — Präzision, RAM und Software-Support entscheiden über den realen Nutzen.