LangChain
Definition
LangChain ist ein beliebtes Open-Source-Framework fuer die Entwicklung von LLM-Anwendungen. Es provides Module fuer Prompt-Management, Chains, Agenten, Memory und RAG-Pipelines. LangChain unterstuetzt alle grossen LLM-Anbieter und Vector Databases.
Beispiel
Mit LangChain kann man in 50 Zeilen Python einen RAG-Chatbot mit PDF-Wissensbasis bauen.
Verwandte Begriffe
Mehr aus “AI/ML”
Vector Database
Eine Vector Database speichert Embeddings und ermoeglicht schnelle Aehnlichkeitssuche. Sie ist essenziell fuer RAG-Systeme und AI-Anwendungen. Bekannte Vector DBs sind Pinecone, Weaviate, Qdrant und Chroma. Sie nutzen Approximate Nearest Neighbor (ANN) Algorithmen.
NPU (Neural Processing Unit)
Eine NPU ist ein spezialisierter Prozessor fuer KI-Inference-Aufgaben. Sie ist extrem energieeffizient und entlastet CPU und GPU bei AI-Workloads. Moderne Smartphones und Laptops integrieren NPUs direkt im SoC. Die Leistung wird in TOPS gemessen.
INT4 (4-bit Integer)
INT4 ist ein Quantisierungsformat, das Gewichte mit nur 4 Bits speichert. Es reduziert den Speicherbedarf eines Modells um den Faktor 4 gegenueber FP16. Moderne NPUs und GPUs (wie RTX 50 mit FP4) unterstuetzen INT4/FP4 nativ fuer maximale Effizienz.
FP8 (8-bit Floating Point)
FP8 ist ein 8-bit-Gleitkommaformat, das 2022 von NVIDIA, AMD und ARM gemeinsam spezifiziert wurde. Es bietet hoehere Praezision als INT8 bei gleichem Speicherbedarf. Die RTX 50-Serie unterstuetzt FP4 und FP8 nativ fuer maximale AI-Performance.