nästan allt inom AI kan förstås genom komprimeringslinsen - Arkitekturen är bara ett schema för när och hur man ska komprimera - Optimering är en komprimeringsprocess, med sin egen komprimeringsnivå och varaktighet - (arkitektur + data + optimering) = modell - Med andra ord är en modell bara en komprimerad form av en datauppsättning (med några extra valmöjligheter) - Posthoc-kvantisering är en process för att komprimera en modell ytterligare - Generalisering är ett mått på kompressionskvalitet - Skalningslagar är mått på kompressionsförhållande och datastorlek - Olika datauppsättningar har mycket varierande komprimeringshastigheter (t.ex. text vs bilder) - Inferens kan ses som en modellbetingad promptdekomprimering