Vector Database
Definition
Eine Vector Database speichert Embeddings und ermöglicht schnelle Ähnlichkeitssuche. Sie ist essenziell für RAG-Systeme und AI-Anwendungen. Bekannte Vector DBs sind Pinecone, Weaviate, Qdrant und Chroma. Sie nutzen Approximate Nearest Neighbor (ANN) Algorithmen.
Beispiel
Pinecone kann Milliarden von Vektoren in unter 50 Millisekunden durchsuchen.
Mehr aus “AI/ML”
NPU (Neural Processing Unit)
Eine NPU ist ein spezialisierter Prozessor für KI-Inference-Aufgaben. Sie ist extrem energieeffizient und entlastet CPU und GPU bei AI-Workloads. Moderne Smartphones und Laptops integrieren NPUs direkt im SoC. Die Leistung wird in TOPS (Tera Operations Per Second) gemessen.
Inference (Inferenz)
Inference ist die Anwendung eines trainierten KI-Modells auf neue Daten, um Vorhersagen zu generieren. Sie ist weniger rechenintensiv als das Training, erfordert aber dennoch NPUs oder GPUs für Echtzeit-Anwendungen. Edge-Inference findet direkt auf dem Gerät statt.
Machine Learning
Machine Learning ist ein Teilbereich der KI, bei dem Computer aus Daten lernen, ohne explizit programmiert zu werden. Es umfasst überwacht (Supervised), unüberwacht (Unsupervised) und bestärkendes (Reinforcement) Lernen. Deep Learning ist eine spezielle Methode des Machine Learning.
LoRA (Low-Rank Adaptation)
LoRA ist eine effiziente Fine-Tuning-Methode, die nur einen kleinen Satz zusätzlicher Parameter trainiert statt des gesamten Modells. Dies reduziert Speicherbedarf und Trainingskosten um den Faktor 10 bis 100. QLoRA kombiniert LoRA mit Quantisierung für noch mehr Effizienz.