Medición de la eficiencia del pensamiento en modelos de razonamiento: el punto de referencia que falta Medimos el uso de tokens en todos los modelos de razonamiento: los modelos abiertos producen entre 1,5 y 4 veces más tokens que los modelos cerrados en tareas idénticas, pero con una gran variación según el tipo de tarea (hasta 10 veces en preguntas simples). Este costo oculto a menudo niega las ventajas de precios por token. La eficiencia del token debe convertirse en un objetivo principal junto con los puntos de referencia de precisión, especialmente considerando casos de uso sin razonamiento. Lea la revisión exhaustiva de la eficiencia del razonamiento en el panorama de modelos abiertos y cerrados en nuestra última publicación de blog en colaboración con nuestro investigador residente, Tim. Vea más de su trabajo aquí: