LoRA (Low-Rank Adaptation)
Definition
LoRA ist eine effiziente Fine-Tuning-Methode, die nur einen kleinen Satz zusaetzlicher Parameter trainiert statt des gesamten Modells. Dies reduziert Speicherbedarf und Trainingskosten um den Faktor 10 bis 100. QLoRA kombiniert LoRA mit Quantisierung fuer noch mehr Effizienz.
Beispiel
Mit QLoRA kann man ein 70B-LLM auf einer einzigen consumer-GPU fine-tunen.
Verwandte Begriffe
Mehr aus “AI/ML”
Training (Modell-Training)
Training ist der Prozess, bei dem ein KI-Modell aus Daten lernt, indem es seine internen Gewichte iterativ anpasst. Es verwendet Algorithmen wie Backpropagation und Gradient Descent. Das Training grosser Modelle kann Wochen bis Monate dauern.
Federated Learning
Federated Learning trainiert KI-Modelle dezentral auf mehreren Geraeten, ohne Daten zu teilen. Jedes Geraet trainiert lokal und sendet nur Modell-Updates an einen zentralen Server. Dies schuetzt die Privatsphaere und wird von Google und Apple eingesetzt.
LLM (Large Language Model)
Ein LLM ist ein auf riesigen Textmengen trainiertes Neural Network, das menschenahnliche Texte generieren kann. Es verwendet Transformer-Architektur mit Milliarden von Parametern. GPT, Claude, Gemini und Llama sind bekannte Beispiele fuer LLMs.
Vector Database
Eine Vector Database speichert Embeddings und ermoeglicht schnelle Aehnlichkeitssuche. Sie ist essenziell fuer RAG-Systeme und AI-Anwendungen. Bekannte Vector DBs sind Pinecone, Weaviate, Qdrant und Chroma. Sie nutzen Approximate Nearest Neighbor (ANN) Algorithmen.