VAE (Variational Autoencoder)
Definition
Ein VAE ist ein Neural Network, das Daten komprimiert und rekonstruiert. Im Gegensatz zu klassischen Autoencodern erzeugt der latente Raum eine kontinuierliche Verteilung, die das Generieren neuer Daten ermoeglicht. VAEs werden oft als Komponente in Diffusionsmodellen eingesetzt.
Beispiel
Der Encoder in Stable Diffusion ist ein VAE, der Bilder in einen komprimierten latente Raum abbildet.
Verwandte Begriffe
Mehr aus “AI/ML”
Fine-Tuning
Fine-Tuning ist die Anpassung eines vortrainierten Modells an eine spezifische Aufgabe oder Doemaene. Es benötigt deutlich weniger Daten und Rechenleistung als das Training von Grund auf. LoRA und QLoRA sind beliebte effiziente Fine-Tuning-Methoden.
AI-PC
Ein AI-PC ist ein Computer mit integrierter NPU, der KI-Aufgaben lokal und energieeffizient ausfuehrt. Microsoft definiert AI-PCs mit mindestens 40 TOPS und Copilot+ Funktion. Sie ermoeglichen Features wie Live-Untertitel, Bildgenerierung und lokale LLMs ohne Cloud.
Quantization (Quantisierung)
Quantization reduziert die Praezision der Gewichte in einem KI-Modell (z. B. von FP16 auf INT4). Dadurch werden Modellgroesse und Speicherbedarf massiv verringert, bei minimalen Genauigkeitsverlusten. INT4 und INT8 sind die gaengigsten Formate fuer Edge-Inferenz.
LoRA (Low-Rank Adaptation)
LoRA ist eine effiziente Fine-Tuning-Methode, die nur einen kleinen Satz zusaetzlicher Parameter trainiert statt des gesamten Modells. Dies reduziert Speicherbedarf und Trainingskosten um den Faktor 10 bis 100. QLoRA kombiniert LoRA mit Quantisierung fuer noch mehr Effizienz.