AI のほぼすべては、圧縮のレンズを通して理解できます - アーキテクチャは、いつ、どのように圧縮するかのスキーマにすぎません - 最適化は圧縮*プロセス*であり、独自の圧縮レベルと期間があります。 - (アーキテクチャ + データ + 最適化) = モデル - 言い換えれば、モデルはデータセットの圧縮形式にすぎません (いくつかの追加の選択肢があります) - ポストホック量子化は、モデルをさらに圧縮するプロセスです。 - 一般化は圧縮品質の尺度です - スケーリング法則は、圧縮率とデータサイズの測定値です。 - データセットが異なれば、圧縮率も大きく変動します(例:テキストと画像) - 推論は、モデル条件付きプロンプト解凍と見なすことができます