几乎所有关于AI的内容都可以通过压缩的视角来理解 - 架构只是压缩的时间和方式的模式 - 优化是一个压缩*过程*，具有自己的压缩级别和持续时间 - （架构 + 数据 + 优化）= 模型 - 换句话说，模型只是数据集的一种压缩形式（带有一些额外的选择） - 后期量化是进一步压缩模型的过程 - 泛化是压缩质量的衡量 - 规模法则是压缩比和数据大小的测量 - 不同的数据集具有高度可变的压缩率（例如文本与图像） - 推理可以视为模型条件下的提示解压缩