hầu như mọi thứ trong AI có thể được hiểu qua lăng kính của sự nén - kiến trúc chỉ là sơ đồ cho khi nào và cách nào để nén - tối ưu hóa là một *quá trình* nén, với mức độ nén và thời gian riêng - (kiến trúc + dữ liệu + tối ưu hóa) = mô hình - nói cách khác, một mô hình chỉ là một dạng nén của một tập dữ liệu (với một số lựa chọn bổ sung) - quantization posthoc là một quá trình nén mô hình thậm chí hơn nữa - tổng quát hóa là một phép đo chất lượng nén - các quy luật mở rộng là các phép đo tỷ lệ nén và kích thước dữ liệu - các tập dữ liệu khác nhau có tỷ lệ nén rất khác nhau (ví dụ: văn bản so với hình ảnh) - suy diễn có thể được xem như là một quá trình giải nén prompt có điều kiện từ mô hình