bijna alles in AI kan worden begrepen door de lens van compressie - de architectuur is gewoon een schema voor wanneer en hoe te comprimeren - optimalisatie is een compressie *proces*, met zijn eigen compressieniveau en duur - (architectuur + data + optimalisatie) = model - met andere woorden, een model is gewoon een gecomprimeerde vorm van een dataset (met enkele extra keuzes) - posthoc kwantisatie is een proces om een model nog verder te comprimeren - generalisatie is een maat voor de compressiekwaliteit - schaalwetten zijn metingen van de compressieverhouding en de datasize - verschillende datasets hebben zeer variabele compressiesnelheden (bijv. tekst vs. afbeeldingen) - inferentie kan worden gezien als een model-geconditioneerde promptdecompressie