La sabiduría predominante es que la computación es el factor más importante para el entrenamiento de IA de frontera. Creemos que esto es incorrecto: los datos son el componente más costoso e importante del entrenamiento de IA. Recopilamos estimaciones de ingresos para las principales empresas de etiquetado de datos y las comparamos con el costo marginal de computación para entrenar los mejores modelos en 2024. Nuestras estimaciones muestran que el etiquetado de datos es ~3 veces más alto que el costo marginal de computación para el entrenamiento. 1/8

Nuestra reciente publicación en el blog desglosa el verdadero costo de entrenar los modelos insignia de hoy con números concretos y estudios de caso. El análisis completo está en Substack: 2/8

Una instantánea de 2024: calculamos los ingresos anuales de las principales empresas de etiquetado (Scale, Surge, Mercor, Labelbox, …) y los comparamos con el gasto marginal en computación para entrenar GPT-4o, Sonnet-3.5, Mistral-Large, Grok-2 y Llama-3-405B. Resultado: los costos de etiquetado son aproximadamente 3 veces los costos marginales de computación. 3/8

De 2023 a 2024, encontramos un salto de 88x en la industria de etiquetado de datos, mientras que los costos de computación para entrenamiento solo aumentaron 1.3x. Esta es una tasa de crecimiento ~70x más rápida para el etiquetado de datos. Ten en cuenta que no esperamos que las tendencias continúen en 2025 y más allá, ya que la mayor parte del crecimiento proviene de Mercor, por lo que las tasas de crecimiento serán más bajas, incluso cuando la cantidad total de costos de datos aumente. 4/8

Más allá de los ingresos, MiniMax-M1 necesitaba menos de $1M en computación para alcanzar la calidad de Claude-Opus-4, sin embargo, curar un conjunto de datos de RL con 140k anotaciones humanas costaría alrededor de $14M, 28 veces la computación de entrenamiento 5/8

De manera similar, SkyRL-SQL igualó a GPT-4o en texto a SQL con solo $360 de computación de entrenamiento, pero las 600 consultas anotadas por expertos utilizadas en el post-entrenamiento costaron ~$60K 6/8

Animamos a las organizaciones que rastrean las entradas a la IA a que también rastreen los costos de los datos humanos, ya que creemos que esto es fundamental para entender el progreso de la IA 7/8

Coescrito con @maxYuxuanZhu 8/8