幾乎所有關於AI的內容都可以透過壓縮的視角來理解 - 架構只是壓縮的時間和方式的模式 - 優化是一個壓縮*過程*，具有自己的壓縮級別和持續時間 - （架構 + 數據 + 優化）= 模型 - 換句話說，模型只是數據集的一種壓縮形式（帶有一些額外的選擇） - 後期量化是進一步壓縮模型的過程 - 泛化是壓縮質量的衡量 - 規模法則是壓縮比和數據大小的測量 - 不同的數據集具有高度可變的壓縮率（例如文本與圖像） - 推理可以視為模型條件下的提示解壓縮