Attention Mechanism
Definition
Attention ist ein Konzept in Neural Networks, das dem Modell ermoeglicht, sich auf relevante Teile der Eingabe zu konzentrieren. Self-Attention berechnet fuer jedes Token, wie stark es alle anderen Tokens beeinflusst. Multi-Head Attention ist ein Kernbaustein der Transformer-Architektur.
Beispiel
Bei der Uebersetzung von 'Die Bank ist geschlossen' nutzt Attention den Kontext, um zwischen Geldinstitut und Sitzgelegenheit zu unterscheiden.
Verwandte Begriffe
Mehr aus “AI/ML”
Copilot+ PC
Copilot+ PC ist eine Microsoft-Zertifizierung fuer Windows-Rechner mit mindestens 40 TOPS NPU-Leistung. Solche PCs unterstuetzen Recall (Timeline-Suche), Live-Captions, Cocreator (Bildgenerierung) und lokale Phi-Silika-Modelle. Der Standard wurde mit Windows 11 24H2 eingefuehrt.
Pruning (Beschneidung)
Pruning entfernt weniger wichtige Gewichte oder Neuronen aus einem trainierten KI-Modell, um es kleiner und schneller zu machen. Structured Pruning entfernt ganze Filter oder Schichten, Unstructured Pruning einzelne Gewichte. Die Genauigkeit bleibt meist erhalten.
LoRA (Low-Rank Adaptation)
LoRA ist eine effiziente Fine-Tuning-Methode, die nur einen kleinen Satz zusaetzlicher Parameter trainiert statt des gesamten Modells. Dies reduziert Speicherbedarf und Trainingskosten um den Faktor 10 bis 100. QLoRA kombiniert LoRA mit Quantisierung fuer noch mehr Effizienz.
Metal (Apple GPU Framework)
Metal ist Apples Low-Level-API fuer GPU-Programmierung auf iOS und macOS. Es wird von Core ML und MLX fuer KI-Workloads genutzt. Metal Performance Shaders bieten optimierte Kernel fuer AI-Inferenz auf Apple Silicon.