On-Device AI: Was am Handy lokal läuft

On-Device AI ist 2026 der wichtigste Trend im Smartphone-Markt. Aber was läuft wirklich lokal und was geht in die Cloud? Wir listen alle Features, Modelle und Performance-Daten auf.

Was bedeutet On-Device?

On-Device = auf dem Gerät. Die AI-Berechnung erfolgt durch die NPU (Neural Processing Unit) des Smartphones. Keine Daten verlassen das Gerät.

Vorteile

Privatsphäre: Fotos, Nachrichten und Sprache bleiben auf dem Handy

Geschwindigkeit: Unter 50 ms Latenz (Cloud: 200-500 ms)

Offline: Funktioniert im Flugzeug, im Tunnel, ohne Datenvertrag

Keine Kosten: Keine API-Gebühren, keine monatlichen Abos

Nachteile

Begrenzte Modellgröße: Maximal 5-7 Mrd. Parameter

Akkuverbrauch: NPU-Arbeit kostet 3-8 % Akku pro Stunde

Hitze: Längere AI-Last erwärmt das Gerät

Komplette Liste: On-Device Features 2026

Foto und Video

| Feature | Beschreibung | Lokal? |
|---------|--------------|--------|
| Night Mode | AI-Denoising für Low-Light-Fotos | ✅ |
| Portrait Mode | AI-Bokeh (Hintergrundunschärfe) | ✅ |
| Magic Eraser / Clean Up | Objekte aus Fotos entfernen | ✅ |
| Best Take | Perfekte Gesichter auswählen | ✅ |
| AI Zoom (100x) | KI-Upcaling für starker Zoom | ✅ |
| Photo Upscaling | Niedrige Auflösung hochskalieren | ✅ |
| Video-Boost | HDR und Denoising in Echtzeit | ✅ |
| Astrophotografie | Mehrere Fotos gestapelt | ✅ |

Sprache und Text

| Feature | Beschreibung | Lokal? |
|---------|--------------|--------|
| Speech-to-Text | Diktion in Echtzeit | ✅ |
| Live-Übersetzung | Gespäche übersetzen | ✅ |
| Smart Reply | Kontextuelle Antworten | ✅ |
| Text-Zusammenfassung | Mails, Nachrichten, Artikel | ✅* |
| Rewrite | Sätze umformulieren | ✅ |
| Proofread | Grammatik- und Stilkorrektur | ✅ |
| Genmoji | Eigene Emojis erstellen | ✅ |

*Sehr lange Texte (>10.000 Wörter) werden an Private Cloud Compute weitergeleitet.

Assistent und Automatisierung

| Feature | Beschreibung | Lokal? |
|---------|--------------|--------|
| Siri / Bixby / Gemini | Sprachbefehle verstehen | ✅* |
| App-Steuerung | Apps per Sprache öffnen/steuern | ✅ |
| Shortcuts / Routines | Automatisierungen | ✅ |
| AI Call Screening | Spam-Anrufe filtern | ✅ |
| Transkription | Sprach-auf-Text (WhatsApp, Recorder) | ✅ |

*Für komplexe Anfragen wird teilweise Cloud genutzt.

Sicherheit

| Feature | Beschreibung | Lokal? |
|---------|--------------|--------|
| Gesichtserkennung (Face ID) | Biometrische Authentifizierung | ✅ |
| Fingerabdruck (AI-Enhanced) | Verbesserte Erkennung | ✅ |
| Spam-Erkennung (SMS/Calls) | AI filtert Phishing | ✅ |
| Malware-Erkennung | On-Device Virenscanner | ✅ |

Health und Fitness

| Feature | Beschreibung | Lokal? |
|---------|--------------|--------|
| Sturzerkennung | Beschleunigungssensor + AI | ✅ |
| Herzrhythmus-Analyse | ECG-Auswertung | ✅ |
| Schlafanalyse | Bewegung + AI-Pattern | ✅ |
| Sauerstoffsättigung | SpO2-Messung | ✅ |
| AI Coach | Personalisierte Ratschläge | ✅* |

*Cloud für cross-device Sync, aber Analyse lokal.

NPU Performance 2026

| Smartphone | NPU | TOPS | Modell-Support |
|------------|-----|------|----------------|
| iPhone 17 Pro | A19 Pro NPU | 45 | Apple Intelligence (3B) |
| Galaxy S26 Ultra | Snapdragon 8 Elite Gen 5 | 55 | Galaxy AI (2B) + Llama 3.2 |
| Pixel 10 Pro | Tensor G5 | 65 | Gemini Nano 3 (5B) |
| OnePlus 13T | Snapdragon 8 Gen 4 | 50 | Custom + Llama |

TOPS allein reicht nicht

Die TOPS-Zahl ist nicht alles. Wichtiger ist:

Speicherbandbreite: Wie schnell die NPU Daten lesen kann

RAM: Wie viele Parameter in den Speicher passen

Software-Stack: Wie gut die NPU programmiert wird

Beispiel: Pixel 10 Pro

NPU: 65 TOPS

RAM: 16 GB

Speicherbandbreite: 120 GB/s

LLM: Gemini Nano 3 (5B Parameter)

Speed: 25 tok/s

Wie viel Akku braucht On-Device AI?

| Aktivität | Akkuverbrauch/Stunde |
|-----------|---------------------|
| Lokale LLM-Inferenz (kontinuierlich) | 8 % |
| Foto-Bearbeitung (Magic Eraser) | 5 % |
| Live-Übersetzung | 4 % |
| Smart Reply | 1 % |
| Gesichts-ID (1× Min) | <0.1 % |

Für die meisten Nutzer: AI kostet 2-5 % zusätzlichen Akkuverbrauch pro Tag.

Lokale LLMs nutzen (Advanced)

Du kannst eigene LLMs auf deinem Smartphone installieren:

Apps

| App | Plattform | Modelle | Preis |
|-----|-----------|---------|-------|
| LM Studio | iOS, Android | Llama, Phi, Mistral | Frei |
| MLC Chat | iOS, Android | Llama, Phi, Qwen | Frei |
| ChatterUI | Android | Llama, Mistral, Phi | Frei |
| Private LLM | iOS | Verschiedene | 15 € |

Beispiel: Llama 3.2 3B auf Galaxy S26

RAM-Bedarf: 3.5 GB (Q4 quantisiert)

Speed: 18 tok/s

Use-Case: Offline-Chatbot, Zusammenfassungen

Cloud vs On-Device: Wann was?

| Feature | On-Device | Cloud |
|---------|-----------|-------|
| Einfache Zusammenfassung | ✅ | — |
| Foto-Bearbeitung | ✅ | — |
| Übersetzung | ✅ | — |
| Komplexe Chatbot-Fragen | Limitiert | ✅ |
| Image Generation (DALL-E) | Schlecht | ✅ |
| Web-Suche | Nein | ✅ |
| Großer Kontext (100k+ Tokens) | Nein | ✅ |

Regel: Modellgröße > 7 Mrd. Parameter → Cloud. Darunter → On-Device möglich.

FAQ

Kann ich On-Device AI deaktivieren?

Ja. Bei iOS: Einstellungen → Apple Intelligence → Deaktivieren. Bei Android: Einstellungen → AI → Deaktivieren. Aber: Du verlierst viele Features (Zusammenfassung, Smart Reply).

Verbraucht On-Device AI mein Datenvolumen?

Nein. On-Device AI nutzt keine Internetverbindung. Nur Cloud-Features verbrauchen Datenvolumen.

Sind On-Device-Modelle so gut wie ChatGPT?

Nein. ChatGPT (GPT-5) hat über 1 Billion Parameter. On-Device-Modelle haben 2-5 Milliarden. Für einfache Aufgaben (Zusammenfassung, Übersetzung, Smart Reply) reicht On-Device. Für komplexe Anfragen ist Cloud besser.

Kann ich ein eigenes Modell auf dem Handy installieren?

Ja, mit Apps wie LM Studio oder MLC Chat. Du kannst Llama 3.2, Phi-3 oder Qwen downloaden und lokal betreiben.

Fazit

On-Device AI ist 2026 die Norm. 80 % aller AI-Features laufen lokal auf dem Smartphone — privat, schnell, offline. Die wichtigsten Modelle sind Apple Intelligence (3B), Gemini Nano 3 (5B) und Galaxy AI (2B). Wer volle AI-Power will: Pixel 10 Pro (65 TOPS) oder Galaxy S26 Ultra (55 TOPS). On-Device ist die Zukunft — datenschutzfreundlich und leistungsstark.