Agradezco la honestidad de @Anthropic en su última tarjeta de sistema, pero su contenido no me da confianza en que la empresa actúe de forma responsable con el despliegue de modelos avanzados de IA: -Principalmente se basaron en una encuesta interna para determinar si Opus 4.6 superaba su umbral autónomo de R&D-4 de IA (y por tanto requeriría salvaguardas más estrictas para su lanzamiento bajo su Política de Escalabilidad Responsable). Esto ni siquiera fue una encuesta externa a un tercero imparcial, sino más bien una encuesta a empleados de Anthropic. -Cuando los encuestados internos del 16 de 5 presentaron inicialmente una evaluación que sugería que podrían ser necesarias salvaguardas más estrictas para la publicación del modelo, Anthropic hizo un seguimiento específico con esos empleados y les pidió que "aclararan sus puntos de vista". No mencionan ningún seguimiento similar para los otros encuestados de 11 de 16. No hay discusión en la tarjeta del sistema sobre cómo esto puede crear sesgo en los resultados de la encuesta. -Su razón para depender de las encuestas es que sus evaluaciones actuales de investigación y desarrollo en IA están saturadas. Algunos podrían argumentar que el progreso de la IA ha sido tan rápido que es comprensible que aún no tengan evaluaciones cuantitativas más avanzadas, pero podemos y debemos exigir un alto listón a los laboratorios de IA. Además, otros laboratorios tienen evaluaciones avanzadas de investigación y desarrollo de IA que no están saturadas. Por ejemplo, OpenAI tiene el benchmark OPQA, que mide la capacidad de los modelos de IA para resolver problemas internos reales que encontraron los equipos de investigación de OpenAI y que el equipo tardó más de un día en resolver. No creo que Opus 4.6 esté realmente al nivel de un investigador remoto de IA de nivel inicial, y no creo que sea peligroso lanzarlo. Pero el objetivo de una Política de Escalabilidad Responsable es construir músculo institucional y buenos hábitos antes de que las cosas se pongan serias. Las encuestas internas, especialmente porque Anthropic las ha administrado, no son un sustituto responsable de las evaluaciones cuantitativas.

@Anthropic tarjeta del sistema está aquí: