Oh, qué rápido se mueve este espacio. Cuando publiqué esto hace tres meses, fue recibido con mucho escepticismo. Ahora parece que cada vez más personas se suben al tren de la auditoría de IA. Primero un poco. Luego todo a la vez. La tendencia no se revertirá. Predigo que, en menos de 1 año, se considerará irresponsable que al menos una de las auditorías sea una auditoría de IA (además de la verificación formal, las auditorías normales, etc.).
Jeffrey Scholz
Jeffrey Scholz10 may 2025
Lo único que impide que la IA sea abrumadoramente buena en las auditorías es la falta de inversión en el espacio de auditoría de la IA. He entrenado a múltiples auditores de clase mundial, tanto directa como indirectamente. También jugué de manera competitiva y sé que no tengo ninguna posibilidad de hacer algo remotamente cercano a la clase mundial. La competencia es más difícil que las auditorías, ya que la permutación de los puntos de entrada y el espacio de estados significativo es mucho mayor y mucho más difícil de razonar. La IA aplastó a los humanos en 2016. Alguien que invirtiera entre 20 y 30 millones de dólares en investigación y desarrollo de auditorías de IA cambiaría completamente las cosas. La parte superior de la tabla de clasificación de recompensas por errores web2 en los Estados Unidos es un LLM. * Una IA de este tipo no es un LLM de una sola vez, sino algo que puede escribir pruebas unitarias y especificaciones de verificación formales para probar su comprensión de la base de código. La cantidad de tokens que esto consume sería extremadamente costosa, pero probablemente competitiva con lo que cuestan ahora las auditorías. ** La IA nunca reemplazará por completo a los auditores, ya que nunca tienen tanto contexto como un humano. Pero lo único que detiene una interrupción seria es la falta de inversión seria. Invertiría en un proyecto de este tipo, si viera que el equipo tiene la experiencia adecuada con las auditorías y el aprendizaje automático.
3.27K