hampir semua hal dalam AI dapat dipahami melalui lensa kompresi - arsitekturnya hanya skema untuk kapan & cara mengompres - Optimasi adalah *proses* kompresi, dengan tingkat dan durasi kompresinya sendiri - (arsitektur + data + pengoptimalan) = model - dengan kata lain, model hanyalah bentuk terkompresi dari kumpulan data (dengan beberapa pilihan tambahan) - Kuantisasi posthoc adalah proses mengompresi model lebih jauh - generalisasi adalah ukuran kualitas kompresi - Hukum penskalaan adalah pengukuran rasio kompresi dan ukuran data - kumpulan data yang berbeda memiliki tingkat kompresi yang sangat variabel (misalnya teks vs gambar) - inferensi dapat dilihat sebagai dekompresi prompt yang dikondisikan model