DistilBERT
Definition
DistilBERT ist eine komprimierte Version von BERT, die durch Knowledge Distillation erstellt wurde. Sie hat 40% weniger Parameter und ist 60% schneller, behaelt aber 97% der Sprachverstaendnis-Leistung. DistilBERT ist ein Paradebeispiel fuer effizientes Model Compression.
Beispiel
DistilBERT kann auf einem Raspberry Pi 4 mit akzeptabler Geschwindigkeit ausgefuehrt werden.
Mehr aus “AI/ML”
TinyML
TinyML ist das Feld des Machine Learning fuer extrem ressourcenbeschraenkte Geraete (Mikrocontroller, Sensoren). Modelle werden auf wenige Kilobyte komprimiert. Typische Anwendungen sind Keyword-Spotting, Gestenerkennung und Anomalie-Erkennung auf Batterie-Geraeten.
Token
Ein Token ist die Grundeinheit, die ein LLM verarbeitet. Ein Token entspricht durchschnittlich etwa 0,75 Woertern oder 4 Zeichen. Die Token-Anzahl bestimmt Verarbeitungsdauer und Kosten einer API-Anfrage.
Mojo (Programmiersprache)
Mojo ist eine von Modular entwickelte Programmiersprache, die als Superset von Python konzipiert ist. Sie kombiniert die Lesbarkeit von Python mit der Performance von C++ und ist speziell fuer KI-Entwickler optimiert. Mojo kann bis zu 35.000x schneller sein als Python.
Deep Learning
Deep Learning ist ein Teilbereich des Machine Learning, der Neural Networks mit vielen Schichten verwendet. Es ermoeglicht das Lernen hierarchischer Merkmale aus grossen Datenmengen. Deep Learning treibt Innovationen in Bilderkennung, Sprachverarbeitung und autonomen Systemen.