MLX (Apple ML Framework)
Definition
MLX ist Apples Open-Source-Machine-Learning-Framework, speziell fuer Apple Silicon optimiert. Es nutzt Unified Memory und die Neural Engine effizient. MLX ermoeglicht das Training und die Inferenz von LLMs auf Macs mit bisher unerreichter Effizienz.
Beispiel
MLX kann ein Llama 3 8B Modell auf einem MacBook Pro M5 mit 30 Tokens/Sekunde ausfuehren.
Verwandte Begriffe
Mehr aus “AI/ML”
FLOPS (Floating Point Operations Per Second)
FLOPS misst die Anzahl der Gleitkomma-Operationen pro Sekunde. Im Gegensatz zu TOPS, das ganze Operationen zaehlt, erfasst FLOPS genauer die mathematische Leistung. Es wird in PetaFLOPS (10^15) oder ExaFLOPS (10^18) angegeben.
AGI (Artificial General Intelligence)
AGI bezeichnet eine KI, die kognitive Faehigkeiten auf menschlichem Niveau in allen Bereichen erreicht. Anders als schmale KI (Narrow AI) kann AGI jede intellektuelle Aufgabe erlernen, die ein Mensch erlernen kann. Ob AGI erreicht wurde, ist unter Experten umstritten.
Mojo (Programmiersprache)
Mojo ist eine von Modular entwickelte Programmiersprache, die als Superset von Python konzipiert ist. Sie kombiniert die Lesbarkeit von Python mit der Performance von C++ und ist speziell fuer KI-Entwickler optimiert. Mojo kann bis zu 35.000x schneller sein als Python.
Quantization (Quantisierung)
Quantization reduziert die Praezision der Gewichte in einem KI-Modell (z. B. von FP16 auf INT4). Dadurch werden Modellgroesse und Speicherbedarf massiv verringert, bei minimalen Genauigkeitsverlusten. INT4 und INT8 sind die gaengigsten Formate fuer Edge-Inferenz.