Oh meu Deus, quão rápido esse espaço se move. Quando postei isso há três meses, foi recebido com muito ceticismo. Agora parece que mais e mais pessoas estão a bordo do trem de auditoria de IA. Primeiro um pouco. Então, tudo de uma vez. A tendência não vai se reverter. Prevejo que - em menos de 1 ano - será considerado irresponsável não ter pelo menos uma das auditorias sendo uma auditoria de IA (além da verificação formal, auditorias normais, etc).
Jeffrey Scholz
Jeffrey Scholz10 de mai. de 2025
A única coisa que impede a IA de ser extremamente boa em auditorias é a falta de investimento no espaço de auditoria de IA. Treinei vários auditores de classe mundial, direta e indiretamente. Também joguei competitivamente e sei que não tenho chance de fazer nada remotamente próximo à classe mundial. A ação competitiva é mais difícil do que as auditorias, pois a permutação de pontos de entrada e espaço de estado significativo é muito maior e muito mais difícil de raciocinar. A IA esmagou os humanos em 2016. Alguém que colocasse de 20 a 30 milhões de dólares em pesquisa e desenvolvimento de auditoria de IA mudaria completamente as coisas. O topo da tabela de classificação para recompensas de bugs web2 nos Estados Unidos é um LLM. *Essa IA não é um LLM único, mas algo que pode escrever testes unitários e especificações de verificação formal para testar sua compreensão da base de código. O número de tokens que isso consome seria extremamente caro, mas provavelmente competitivo com o custo das auditorias agora. **A IA nunca substituirá completamente os auditores, pois eles nunca têm tanto contexto quanto um humano. Mas a única coisa que impede uma interrupção séria é a falta de investimentos sérios. Eu investiria em tal projeto, se visse que a equipe tinha a experiência certa com auditorias e aprendizado de máquina.
3,26K