QLoRA (Quantized LoRA)
Definition
QLoRA kombiniert LoRA mit 4-bit Quantisierung des Basis-Modells. Dadurch wird der Speicherbedarf drastisch reduziert, sodass sogar 70-Milliarden-Parameter-Modelle auf einer einzelnen GPU fine-getuned werden koennen. Es ist der De-facto-Standard fuer ressourceneffizientes Fine-Tuning.
Beispiel
QLoRA ermoeglicht das Fine-Tuning von Llama 3 70B auf einer einzelnen RTX 4090.
Verwandte Begriffe
Mehr aus “AI/ML”
LLM (Large Language Model)
Ein LLM ist ein auf riesigen Textmengen trainiertes Neural Network, das menschenahnliche Texte generieren kann. Es verwendet Transformer-Architektur mit Milliarden von Parametern. GPT, Claude, Gemini und Llama sind bekannte Beispiele fuer LLMs.
INT4 (4-bit Integer)
INT4 ist ein Quantisierungsformat, das Gewichte mit nur 4 Bits speichert. Es reduziert den Speicherbedarf eines Modells um den Faktor 4 gegenueber FP16. Moderne NPUs und GPUs (wie RTX 50 mit FP4) unterstuetzen INT4/FP4 nativ fuer maximale Effizienz.
LangChain
LangChain ist ein beliebtes Open-Source-Framework fuer die Entwicklung von LLM-Anwendungen. Es provides Module fuer Prompt-Management, Chains, Agenten, Memory und RAG-Pipelines. LangChain unterstuetzt alle grossen LLM-Anbieter und Vector Databases.
Machine Learning
Machine Learning ist ein Teilbereich der KI, bei dem Computer aus Daten lernen, ohne explizit programmiert zu werden. Es umfasst ueberwacht (Supervised), unueberwacht (Unsupervised) und bestaerkendes (Reinforcement) Lernen. Deep Learning ist eine spezielle Methode des Machine Learning.