NPU erklärt: Was sind TOPS und warum sie zählen

NPU, TOPS, Neural Engine, Copilot+ — diese Begriffe begegnen Ihnen 2026 überall. Der AI-Hardware-Markt wächst mit 29 % jährlich und erreicht bis 2028 über 539 Milliarden Dollar. Wir erklären, was eine NPU ist, was TOPS bedeuten und warum beides für Ihren nächsten PC-Kauf entscheidend ist.

Was ist eine NPU?

Eine NPU (Neural Processing Unit) ist ein spezialisierter Prozessor für Machine-Learning-Aufgaben. Genau wie eine GPU auf Grafik spezialisiert ist, ist die NPU auf künstliche neuronale Netze spezialisiert.

Die Drei-Prozessor-Architektur moderner PCs:

CPU (Central Processing Unit): Allrounder für logische Aufgaben, Betriebssystem, Office-Anwendungen

GPU (Graphics Processing Unit): Parallele Berechnungen, Grafik, Gaming, Video-Rendering

NPU (Neural Processing Unit): Matrix-Operationen für AI-Modelle — effizienter als CPU und GPU

Die NPU ist kein Ersatz für CPU oder GPU, sondern eine Ergänzung. Sie übernimmt AI-Workloads und entlastet die anderen Prozessoren.

Was macht die NPU anders?

Neuronale Netze basieren auf Matrix-Multiplikationen — tausende Zahlen werden mit anderen tausenden Zahlen multipliziert und addiert. Eine CPU macht das sequenziell (eine nach der anderen). Eine GPU macht es parallel, aber nicht optimal effizient.

Eine NPU hat spezialisierte MAC-Einheiten (Multiply-Accumulate), die genau diese Matrix-Operationen in Hardware ausführen. Das Ergebnis:

10-50x schneller als eine CPU bei AI-Workloads

3-10x energieeffizienter als eine GPU bei AI-Workloads

Architektur einer typischen NPU:

``
Input → Quantisierung (INT8/INT4) → MAC Array → Activation → Pooling → Output
↑
Tausende parallele
Recheneinheiten
``

Was sind TOPS?

TOPS steht für Tera Operations Per Second — also Billionen Operationen pro Sekunde. Es ist die Standard-Einheit für NPU-Leistung.

Ein Beispiel:

Eine NPU mit 45 TOPS kann 45 Billionen (45.000.000.000.000) Operationen pro Sekunde ausführen. Das klingt nach einer absurd großen Zahl, aber AI-Modelle brauchen das:

Ein 7B-Parameter-Modell benötigt ~7 Milliarden Multiplikationen pro generiertem Token

Bei 30 Token/s (flüssiges Lesen) sind das 210 Milliarden Operationen pro Sekunde

Mit INT8-Quantisierung (8-bit) entspricht das ~25-30 TOPS NPU-Auslastung

TOPS-Rechnung:

1 TOPS = 1 Billion INT8-Operationen pro Sekunde

Typische NPU-TOPS 2026:

Microsoft Copilot+ Minimum: 40 TOPS

Intel Lunar Lake: 47 TOPS

Qualcomm Snapdragon X Elite: 45 TOPS

AMD Ryzen AI 300: 50 TOPS

Prognose 2028: 200+ TOPS

Arten von AI-Leistung: NPU vs GPU vs Gesamt

Nicht alle TOPS sind gleich. Ein PC hat typischerweise drei AI-Quellen:

| Quelle | Typische TOPS 2026 | Stromverbrauch | Effizienz |
|--------|-------------------|----------------|-----------|
| NPU | 40-55 | 5-10W | Höchste |
| iGPU | 20-50 | 15-30W | Mittel |
| dGPU | 200-800 | 100-300W | Niedrigste |
| Gesamt | 260-900 | | |

Microsoft zählt für Copilot+ nur die NPU-TOPS — nicht GPU-TOPS. Das ist wichtig: Ein PC mit starker RTX 5090 (aber ohne 40-TOPS-NPU) ist kein Copilot+ PC.

INT8, FP16, INT4: Die Feinheiten

TOPS-Angaben beziehen sich meist auf INT8 (8-bit Integer). Aber AI-Modelle nutzen verschiedene Datentypen:

| Datentyp | Bits | Genauigkeit | Geschwindigkeit |
|----------|------|-------------|----------------|
| FP32 | 32 | Höchste | Langsam |
| FP16 | 16 | Hoch | Mittel |
| INT8 | 8 | Gut (meistens) | Schnell |
| INT4 | 4 | Reduziert, aber oft ausreichend | Sehr schnell |

Eine NPU, die 50 TOPS bei INT8 schafft, liefert bei INT4 theoretisch 100 TOPS. Das ist wichtig, weil moderne LLMs zunehmend INT4-Quantisierung nutzen.

Praxis: Was kann eine NPU mit 40-50 TOPS?

| Aufgabe | TOPS-Bedarf | Mit 50 TOPS möglich? |
|---------|-------------|---------------------|
| Windows Studio Effects | ~8 | ✅ (parallel zu anderem) |
| Live Captions | ~5 | ✅ |
| Recall | ~3-4 | ✅ |
| Lokales LLM 7B | ~25-30 | ✅ |
| Lokales LLM 14B | ~40-50 | ✅ (maximal) |
| Lokales LLM 70B | ~200+ | ❌ (braucht GPU) |
| Stable Diffusion 1024x1024 | ~30-40 | ✅ (langsam) |
| Video-AI-Upscaling | ~6 | ✅ |

NPU-Hersteller im Vergleich

| Hersteller | NPU-Name | Aktuelle TOPS | Archtektur |
|------------|----------|---------------|------------|
| Intel | NPU 4.0 (Lunar Lake) | 47 | Spezialisierte Tiles |
| AMD | XDNA 2 (Ryzen AI 300) | 50 | AI-Engines (32 Cores) |
| Qualcomm | Hexagon 7th Gen | 45 | HTOP+Scheduling |
| Apple | Neural Engine Gen 3 | 38-76 | 16/32-Core NE |
| NVIDIA | nicht separat (Tensor Cores) | — | GPU-integriert |

NVIDIA hat keine separate NPU — die Tensor Cores der GPU übernehmen AI-Workloads. Das ist leistungsfähiger, aber weniger effizient.

FAQ

Brauche ich zwingend 40 TOPS?

Unter 40 TOPS haben Sie keinen Zugang zu Windows Copilot+ Features. Für Linux oder macOS ist das Limit nicht relevant — dort funktionieren AI-Tools auch mit weniger TOPS.

Warum sind mehr TOPS nicht immer besser?

Weil auch Software und Speicherbandbreite zählen. Apples M5 Pro hat nur 38 TOPS, aber bei lokalen LLMs schlägt er AMD (50 TOPS), weil das Unified Memory schneller ist.

Wie lange sind 40-50 TOPS zukunftssicher?

Microsoft wird diesen Standard mindestens bis 2028 unterstützen. Neue Features könnten mehr TOPS fordern, aber die Basis-Features bleiben verfügbar.

Kann ich eine NPU aufrüsten?

Nein, die NPU ist im Chip integriert. Ein Upgrade bedeutet einen neuen Laptop/PC. Bei Desktops mit PCIe-Karten (z.B. NVIDIA RTX) ist die "NPU" Teil der Grafikkarte.

Fazit

Die NPU ist die wichtigste Innovation in der PC-Hardware seit der Einführung mehrkerniger Prozessoren. Mit 40-50 TOPS (Standard 2026) können die meisten AI-Aufgaben lokal erledigt werden — schnell, privat und effizient. Bis 2028 werden wir NPUs mit über 200 TOPS sehen. Wer 2026 einen PC kauft, sollte die NPU-Leistung als entscheidendes Kriterium betrachten.