Embedding (Vektor-Repraesentation)
Definition
Ein Embedding ist die Darstellung von Daten als Vektor aus Zahlen, wobei aehnliche Inhalte nahe beieinander liegen. Embeddings sind die Grundlage fuer semantische Suche, Empfehlungssysteme und RAG. Sie werden von speziellen Modellen wie text-embedding-3 erzeugt.
Beispiel
Die Embeddings von 'Hund' und 'Katze' sind im Vektorraum nahe beieinander als 'Hund' und 'Auto'.
Verwandte Begriffe
Mehr aus “AI/ML”
Machine Learning
Machine Learning ist ein Teilbereich der KI, bei dem Computer aus Daten lernen, ohne explizit programmiert zu werden. Es umfasst ueberwacht (Supervised), unueberwacht (Unsupervised) und bestaerkendes (Reinforcement) Lernen. Deep Learning ist eine spezielle Methode des Machine Learning.
Autoregressive Model
Autoregressive Modelle generieren Daten sequenziell, indem sie jedes neue Element basierend auf den zuvor generierten Elementen vorhersagen. LLMs wie GPT sind autoregressiv: Jedes Token wird basierend auf allen vorherigen Tokens generiert.
Matrix Multiply (GEMM)
Matrix Multiply (General Matrix Multiply, GEMM) ist die fundamentale Operation in Neural Networks. praktisch alle Berechnungen in einem LLM lassen sich auf Matrix-Multiplikation zurueckfuehren. Tensor Cores und NPUs sind hardwareseitig fuer maximale GEMM-Performance optimiert.
AI Safety
AI Safety umfasst Forschung und Massnahmen, um sicherzustellen, dass KI-Systeme nicht schaedlich werden. Dazu gehoeren Alignment, Robustheit gegen adversariale Angriffe, Ueberwachung von Modellausgaben und Verhinderung von Missbrauch. AI Safety gewinnt mit staerkeren Modellen an Bedeutung.