майже все в ШІ можна зрозуміти через призму стиснення - архітектура - це просто схема для того, коли і як стискати - оптимізація - це процес стиснення*, зі своїм рівнем стиснення і тривалістю - (архітектура + дані + оптимізація) = модель - іншими словами, модель – це просто стиснена форма набору даних (з деякими додатковими варіантами) - Квантування posthoc — це процес ще більшого стиснення моделі - узагальнення – вимір якості стиснення - Закони масштабування — це вимірювання ступеня стиснення та розміру даних - різні набори даних мають дуже різну швидкість стиснення (наприклад, текст проти зображень) - висновок можна розглядати як умовну модель оперативну декомпресію