¿qué modelo deberíamos hacer a continuación?

¿Tienes curiosidad sobre los datos de entrenamiento de los nuevos modelos gpt-oss de OpenAI? Yo también. Así que generé 10 millones de ejemplos de gpt-oss-20b, realicé un análisis y los resultados fueron... bastante extraños. Es hora de un análisis profundo 🧵

explicación más corta de GPT-5: ¡esto es exactamente lo que predecían las leyes de escalado! el modelo es mejor, los retornos son decrecientes, y lamentablemente las mejoras en la inteligencia general absoluta solo serán cada vez menores la buena noticia es que aún hay mucho por hacer. la personalidad, el razonamiento, la memoria y la creatividad siguen siendo problemas abiertos.

es un buen momento para recordarles a todos que una puntuación alta en SWEbench realmente solo indica que los datos de entrenamiento contenían una proporción suficientemente grande de Django.

la parte más impresionante de GPT-5 es el salto en el contexto largo ¿cómo se hace esto? ¿producir algunos datos sintéticos extraños de largo alcance? ¿escanear muchos libros?

el mundo del capital de riesgo proporciona mucho valor, pero a veces parece que simplemente están quemando dinero. varias startups que conozco recaudaron ~100M en total hace tres años para hacer IA, construyeron software que nadie usó nunca, y ahora todos trabajan en otros lugares en cosas no relacionadas. ¿A dónde fue todo ese dinero?

es extraño en la era de las redes sociales sentir que todos están trabajando en las revisiones y réplicas de NeurIPS rn, pero nadie está hablando de ello públicamente. Contribuí a tres réplicas. Una de las tres fue extremadamente frustrante. ¿Quién más está trabajando en réplicas? ¿Cómo les va?

sam altman quiere construir un modelo que esté calificado en 3200 en codeforces pero no tiene idea de quién es Sam Altman y creo que eso es hermoso

He pasado las últimas horas hablando con gpt-oss y puedo decir con seguridad que es diferente a cualquier modelo que he probado. Un segundo está programando para mí a un nivel profesional, al siguiente está inventando hechos básicos y aferrándose a ellos sin importar lo que diga. Algo muy extraño está sucediendo.

el principal 'ciclo de pensamiento' practicado durante un doctorado: - identificar la región del espacio del problema que carece de coherencia - reservar tiempo para realmente pensar en ello - emerger con un avance de pensamiento concreto, algo que no habías dado cuenta antes optimiza este proceso y conviértete en poderoso