Autoregressive Model
Definition
Autoregressive Modelle generieren Daten sequenziell, indem sie jedes neue Element basierend auf den zuvor generierten Elementen vorhersagen. LLMs wie GPT sind autoregressiv: Jedes Token wird basierend auf allen vorherigen Tokens generiert.
Beispiel
GPT generiert Text Wort fuer Wort, wobei jedes Wort von allen vorherigen abhaengt.
Mehr aus “AI/ML”
AGI (Artificial General Intelligence)
AGI bezeichnet eine KI, die kognitive Faehigkeiten auf menschlichem Niveau in allen Bereichen erreicht. Anders als schmale KI (Narrow AI) kann AGI jede intellektuelle Aufgabe erlernen, die ein Mensch erlernen kann. Ob AGI erreicht wurde, ist unter Experten umstritten.
FLOPS (Floating Point Operations Per Second)
FLOPS misst die Anzahl der Gleitkomma-Operationen pro Sekunde. Im Gegensatz zu TOPS, das ganze Operationen zaehlt, erfasst FLOPS genauer die mathematische Leistung. Es wird in PetaFLOPS (10^15) oder ExaFLOPS (10^18) angegeben.
ROCm (Radeon Open Compute)
ROCm ist AMDs Open-Source-Plattform fuer GPU-Computing, aehnlich wie NVIDIA CUDA. Es unterstuetzt PyTorch und TensorFlow und ist die Grundlage fuer KI-Training auf AMD-GPUs. ROCm 7 brachte deutliche Verbesserungen bei Performance und Kompatibilitaet.
Deep Learning
Deep Learning ist ein Teilbereich des Machine Learning, der Neural Networks mit vielen Schichten verwendet. Es ermoeglicht das Lernen hierarchischer Merkmale aus grossen Datenmengen. Deep Learning treibt Innovationen in Bilderkennung, Sprachverarbeitung und autonomen Systemen.