TinyML
Definition
TinyML ist das Feld des Machine Learning fuer extrem ressourcenbeschraenkte Geraete (Mikrocontroller, Sensoren). Modelle werden auf wenige Kilobyte komprimiert. Typische Anwendungen sind Keyword-Spotting, Gestenerkennung und Anomalie-Erkennung auf Batterie-Geraeten.
Beispiel
Ein TinyML-Modell auf einem ESP32 kann mit 200 KB Speicher Schluesselworter erkennen.
Verwandte Begriffe
Mehr aus “AI/ML”
Knowledge Distillation
Knowledge Distillation ist eine Technik, bei der ein grosses 'Teacher'-Modell ein kleineres 'Student'-Modell trainiert. Das Student-Modell lernt, die Ausgaben des Teachers nachzuahmen, erreicht aber aehnliche Performance mit deutlich weniger Parametern.
Autoregressive Model
Autoregressive Modelle generieren Daten sequenziell, indem sie jedes neue Element basierend auf den zuvor generierten Elementen vorhersagen. LLMs wie GPT sind autoregressiv: Jedes Token wird basierend auf allen vorherigen Tokens generiert.
FP16 (Half Precision)
FP16 (16-bit Floating Point) ist das Standardformat fuer KI-Training und Inferenz. Es bietet ausreichend Praezision fuer die meisten Modelle bei halbem Speicherbedarf gegenueber FP32. Tensor Cores sind fuer FP16 optimiert.
MLX (Apple ML Framework)
MLX ist Apples Open-Source-Machine-Learning-Framework, speziell fuer Apple Silicon optimiert. Es nutzt Unified Memory und die Neural Engine effizient. MLX ermoeglicht das Training und die Inferenz von LLMs auf Macs mit bisher unerreichter Effizienz.