Constitutional AI
Definition
Constitutional AI ist eine von Anthropic entwickelte Trainingsmethode, bei der ein LLM anhand einer 'Verfassung' von Prinzipien sich selbst korrigiert. Das Modell bewertet seine eigenen Antworten und ueberarbeitet sie. Claude wurde mit dieser Methode trainiert.
Beispiel
Claude lehnt Anfragen ab, die gegen seine Verfassung verstossen, wie z.B. Anleitungen zur Herstellung von Waffen.
Verwandte Begriffe
Mehr aus “AI/ML”
Diffusion Model
Diffusion Models generieren Daten (Bilder, Audio, Video), indem sie schrittweise Rauschen entfernen. Sie wurden von Nicht-Gleichgewichts-Thermodynamik inspiriert. Stable Diffusion, DALL-E und Midjourney basieren alle auf Diffusionsarchitektur.
Knowledge Distillation
Knowledge Distillation ist eine Technik, bei der ein grosses 'Teacher'-Modell ein kleineres 'Student'-Modell trainiert. Das Student-Modell lernt, die Ausgaben des Teachers nachzuahmen, erreicht aber aehnliche Performance mit deutlich weniger Parametern.
Context Window (Kontextfenster)
Das Context Window ist die maximale Anzahl an Tokens, die ein LLM gleichzeitig verarbeiten kann. Es umfasst Eingabe und Ausgabe. Groessere Context Windows erlauben laengere Dokumente und ausgedehntere Konversationen. Gemini 2 erreicht 2 Millionen Tokens.
INT8 (8-bit Integer)
INT8 ist das am haeufigsten verwendete Quantisierungsformat fuer KI-Inferenz. Es bietet eine gute Balance zwischen Praezision und Effizienz. Die meisten NPUs sind auf INT8 optimiert, und TOPS-Werte werden typischerweise fuer INT8 angegeben.