aproape totul în AI poate fi înțeles prin prisma compresiei - arhitectura este doar o schemă pentru când și cum să comprimați - optimizarea este un *proces* de compresie, cu propriul nivel și durată de compresie - (arhitectură + date + optimizare) = model - cu alte cuvinte, un model este doar o formă comprimată a unui set de date (cu câteva opțiuni suplimentare) - cuantificarea post-hoc este un proces de comprimare și mai mare a unui model - generalizarea este o măsură a calității compresiei - legile de scalare sunt măsurători ale raportului de compresie și ale dimensiunii datelor - diferite seturi de date au rate de compresie foarte variabile (de exemplu, text vs imagini) - inferența poate fi văzută ca o decompresie promptă condiționată de model