Aprecio la honestidad de @Anthropic en su última tarjeta de sistema, pero el contenido de la misma no me da confianza en que la empresa actuará de manera responsable con el despliegue de modelos avanzados de IA: - Se basaron principalmente en una encuesta interna para determinar si Opus 4.6 cruzó su umbral de I+D de IA autónoma R&D-4 (y, por lo tanto, requeriría salvaguardias más estrictas para su lanzamiento bajo su Política de Escalado Responsable). Esta ni siquiera fue una encuesta externa de un tercero imparcial, sino más bien una encuesta de empleados de Anthropic. - Cuando 5 de 16 encuestados internos dieron inicialmente una evaluación que sugería que podrían ser necesarias salvaguardias más fuertes para el lanzamiento del modelo, Anthropic siguió con esos empleados específicamente y les pidió que "aclararan sus opiniones". No mencionan ningún seguimiento similar para los otros 11 de 16 encuestados. No hay discusión en la tarjeta de sistema sobre cómo esto puede crear sesgo en los resultados de la encuesta. - Su razón para depender de encuestas es que sus evaluaciones de I+D de IA existentes están saturadas. Algunos podrían argumentar que el progreso de la IA ha sido tan rápido que es comprensible que no tengan evaluaciones cuantitativas más avanzadas aún, pero podemos y debemos exigir a los laboratorios de IA un alto estándar. Además, otros laboratorios sí tienen evaluaciones avanzadas de I+D de IA que no están saturadas. Por ejemplo, OpenAI tiene el benchmark OPQA que mide la capacidad de los modelos de IA para resolver problemas internos reales que los equipos de investigación de OpenAI encontraron y que tomaron al equipo más de un día en resolver. No creo que Opus 4.6 esté realmente al nivel de un investigador de IA remoto de nivel inicial, y no creo que sea peligroso lanzarlo. Pero el objetivo de una Política de Escalado Responsable es construir músculo institucional y buenos hábitos antes de que las cosas se pongan serias. Las encuestas internas, especialmente tal como las ha administrado Anthropic, no son un sustituto responsable para evaluaciones cuantitativas.

@Anthropic La tarjeta del sistema está aquí: