Fast alles in der KI kann durch die Linse der Kompression verstanden werden - Die Architektur ist nur ein Schema dafür, wann und wie komprimiert wird - Optimierung ist ein Kompressions*prozess*, mit eigenem Kompressionsniveau und Dauer - (Architektur + Daten + Optimierung) = Modell - Mit anderen Worten, ein Modell ist nur eine komprimierte Form eines Datensatzes (mit einigen zusätzlichen Entscheidungen) - Post-hoc-Quantisierung ist ein Prozess, um ein Modell noch weiter zu komprimieren - Generalisierung ist ein Maß für die Kompressionsqualität - Skalierungsgesetze sind Maße für das Kompressionsverhältnis und die Datengröße - Verschiedene Datensätze haben stark variable Kompressionsraten (z. B. Text vs. Bilder) - Inferenz kann als eine modellabhängige Prompt-Dekompression betrachtet werden