nesten alt innen AI kan forstås gjennom kompresjonslinsen - Arkitekturen er bare skjema for når og hvordan man komprimerer - Optimalisering er en komprimeringsprosess*, med sitt eget komprimeringsnivå og varighet - (arkitektur + data + optimalisering) = modell - Med andre ord, en modell er bare en komprimert form av et datasett (med noen ekstra valg) - Posthoc kvantisering er en prosess for å komprimere en modell ytterligere - generalisering er et mål på kompresjonskvalitet - Skaleringslover er målinger av kompresjonsforhold og datastørrelse - Ulike datasett har svært varierende komprimeringshastigheter (f.eks. tekst vs bilder) - Inferens kan sees på som en modellbetinget prompt dekompresjon