casi todo en IA se puede entender a través de la lente de la compresión - La arquitectura es solo un esquema de cuándo y cómo comprimir - La optimización es un *proceso* de compresión, con su propio nivel y duración de compresión - (arquitectura + datos + optimización) = modelo - En otras palabras, un modelo es solo una forma comprimida de un conjunto de datos (con algunas opciones adicionales) - La cuantificación posthoc es un proceso de compresión de un modelo aún más - La generalización es una medida de la calidad de la compresión - Las leyes de escalado son medidas de la relación de compresión y el tamaño de los datos - diferentes conjuntos de datos tienen tasas de compresión muy variables (por ejemplo, texto vs imágenes) - La inferencia se puede ver como una descompresión rápida condicionada por el modelo