Gemini Nano
Definition
Gemini Nano ist Googles kleinstes LLM, das fuer die Ausfuehrung auf mobilen Geraeten optimiert ist. Es laeuft auf Pixel-Smartphones und Android-Geraeten mit ausreichend RAM. Es ermoeglicht MagIC-Answer, Summarize in Chrome Recorder und Smart Reply ohne Internetverbindung.
Beispiel
Das Pixel 11 Pro nutzt Gemini Nano fuer Echtzeit-Antworten in Gboard ohne Cloud-Latenz.
Verwandte Begriffe
Mehr aus “AI/ML”
LangChain
LangChain ist ein beliebtes Open-Source-Framework fuer die Entwicklung von LLM-Anwendungen. Es provides Module fuer Prompt-Management, Chains, Agenten, Memory und RAG-Pipelines. LangChain unterstuetzt alle grossen LLM-Anbieter und Vector Databases.
Alignment (KI-Ausrichtung)
Alignment beschreibt die Ausrichtung von KI-Systemen auf menschliche Werte und Ziele. Ein gut ausgerichtetes KI-System tut, was Menschen wollen, ohne schaedliche Nebenwirkungen. RLHF und Constitutional AI sind wichtige Alignment-Techniken.
Matrix Multiply (GEMM)
Matrix Multiply (General Matrix Multiply, GEMM) ist die fundamentale Operation in Neural Networks. praktisch alle Berechnungen in einem LLM lassen sich auf Matrix-Multiplikation zurueckfuehren. Tensor Cores und NPUs sind hardwareseitig fuer maximale GEMM-Performance optimiert.
RAG Pipeline
Eine RAG Pipeline ist die Verkettung von Komponenten fuer Retrieval-Augmented Generation: Dokumenten-Ingestion, Chunking, Embedding, Vector-DB-Speicherung, Retrieval und LLM-Generierung. Jeder Schritt kann optimiert werden. Moderne RAG-Pipelines nutzen Re-Ranking und Hybrid Search.