JAX
Definition
JAX ist Googles numerisches Computing-Framework mit automatischer Differenzierung und XLA-Compiler fuer GPU/TPU. Es ist die Grundlage fuer moderne KI-Forschung bei Google DeepMind. JAX ermoeglicht funktionale Programmierung mit NumPy-Syntax und nativer Beschleuniger-Unterstuetzung.
Beispiel
Google trainiert Gemini-Modelle mit JAX auf TPU-Clustern.
Verwandte Begriffe
Mehr aus “AI/ML”
LLM (Large Language Model)
Ein LLM ist ein auf riesigen Textmengen trainiertes Neural Network, das menschenahnliche Texte generieren kann. Es verwendet Transformer-Architektur mit Milliarden von Parametern. GPT, Claude, Gemini und Llama sind bekannte Beispiele fuer LLMs.
Diffusion Model
Diffusion Models generieren Daten (Bilder, Audio, Video), indem sie schrittweise Rauschen entfernen. Sie wurden von Nicht-Gleichgewichts-Thermodynamik inspiriert. Stable Diffusion, DALL-E und Midjourney basieren alle auf Diffusionsarchitektur.
Pruning (Beschneidung)
Pruning entfernt weniger wichtige Gewichte oder Neuronen aus einem trainierten KI-Modell, um es kleiner und schneller zu machen. Structured Pruning entfernt ganze Filter oder Schichten, Unstructured Pruning einzelne Gewichte. Die Genauigkeit bleibt meist erhalten.
RAG (Retrieval-Augmented Generation)
RAG kombiniert ein LLM mit einer externen Wissensdatenbank, um aktuellere und praesisere Antworten zu liefern. Das System sucht zuerst relevante Dokumente und uebergibt sie als Kontext an das LLM. RAG reduziert Halluzinationen und ermueglicht das Abfragen privater Daten.