VAE (Variational Autoencoder)
Definition
Ein VAE ist ein Neural Network, das Daten komprimiert und rekonstruiert. Im Gegensatz zu klassischen Autoencodern erzeugt der latente Raum eine kontinuierliche Verteilung, die das Generieren neuer Daten ermoeglicht. VAEs werden oft als Komponente in Diffusionsmodellen eingesetzt.
Beispiel
Der Encoder in Stable Diffusion ist ein VAE, der Bilder in einen komprimierten latente Raum abbildet.
Verwandte Begriffe
Mehr aus “AI/ML”
FLOPS (Floating Point Operations Per Second)
FLOPS misst die Anzahl der Gleitkomma-Operationen pro Sekunde. Im Gegensatz zu TOPS, das ganze Operationen zaehlt, erfasst FLOPS genauer die mathematische Leistung. Es wird in PetaFLOPS (10^15) oder ExaFLOPS (10^18) angegeben.
AGI (Artificial General Intelligence)
AGI bezeichnet eine KI, die kognitive Faehigkeiten auf menschlichem Niveau in allen Bereichen erreicht. Anders als schmale KI (Narrow AI) kann AGI jede intellektuelle Aufgabe erlernen, die ein Mensch erlernen kann. Ob AGI erreicht wurde, ist unter Experten umstritten.
Transformer (Architektur)
Die Transformer-Architektur wurde 2017 von Google eingefuehrt und ist die Grundlage aller modernen LLMs. Sie nutzt Self-Attention-Mechanismen, um Beziehungen zwischen allen Tokens gleichzeitig zu erfassen. Dadurch sind Transformer stark parallelisierbar und skalierbar.
MoE (Mixture of Experts)
MoE ist eine Architektur, bei der nur ein Teil der Modell-Parameter pro Token aktiviert wird. Ein Router entscheidet, welche Experten (Sub-Netzwerke) fuer jede Eingabe verwendet werden. DeepSeek-V3 und Mixtral nutzen MoE fuer hohe Kapazitaet bei niedriger Inferenz-Kosten.