Dario Amodei disse no WEF que estava prestes a publicar a sequência de Máquinas de Graça Amorosa. Será lançado hoje, e Axios recebeu uma antecipação pela Anthropic. O livro se intitula 'A Adolescência da Tecnologia: Enfrentando e Superando os Riscos do Poderoso Al.'

Algumas citações: 'Acredito que estamos entrando em um rito de passagem, tanto turbulento quanto inevitável, que testará quem somos como espécie. A humanidade está prestes a receber um poder quase inimaginável, e é profundamente incerto se nossos sistemas sociais, políticos e tecnológicos possuem maturidade suficiente para exercê-lo.'

'Agora estamos no ponto em que modelos de IA estão começando a progredir na resolução de problemas matemáticos não resolvidos, e somos bons o suficiente em programação para que alguns dos engenheiros mais fortes que já conheci estejam entregando quase toda a sua programação para a IA. Três anos atrás, a IA tinha dificuldades com problemas de aritmética no ensino fundamental e mal conseguia escrever uma única linha de código. Taxas semelhantes de melhoria estão ocorrendo em ciências biológicas, finanças, física e uma variedade de tarefas agentes. Se a explosão continuar — o que não é certo, mas agora tem um histórico de uma década que a sustenta — então não pode levar mais do que alguns anos até que a IA seja melhor que os humanos em praticamente tudo. Na verdade, esse quadro provavelmente subestima a taxa provável de progresso. Como a IA agora está escrevendo grande parte do código da Anthropic, ela já está acelerando substancialmente o ritmo do nosso progresso na construção da próxima geração de sistemas de IA. Esse ciclo de feedback está ganhando força mês após mês, e pode estar a apenas 1 a 2 anos de um ponto em que a geração atual de IA construa autonomamente a próxima. Esse ciclo já começou e vai acelerar rapidamente nos próximos meses e anos. Assistindo aos últimos 5 anos de progresso dentro da Anthropic, e observando como até os próximos meses de modelos estão se formando, consigo sentir o ritmo do progresso e o relógio se esgotando.'

'É um pouco constrangedor dizer isso como CEO de uma empresa de IA, mas acho que o próximo nível de risco são, na verdade, as próprias empresas de IA. Empresas de IA controlam grandes datacenters, treinam modelos de fronteira, possuem maior expertise em como usar esses modelos e, em alguns casos, têm contato diário e a possibilidade de influência sobre dezenas ou centenas de milhões de usuários. O principal que lhes falta é a legitimidade e a infraestrutura de um Estado, então grande parte do que seria necessário para construir as ferramentas de uma autocracia de IA seria ilegal para uma empresa de IA fazer, ou pelo menos extremamente suspeito. Mas parte disso não é impossível: eles poderiam, por exemplo, usar seus produtos de IA para doutrinar sua enorme base de usuários, e o público deve estar atento ao risco que isso representa. Acho que a governança das empresas de IA merece muita análise.'

'Como sugerido pela frase "país dos gênios em um data center", a IA será capaz de uma ampla gama de habilidades cognitivas humanas — talvez todas elas. Isso é muito diferente de tecnologias anteriores, como agricultura mecanizada, transporte ou até computadores. Isso dificultará a transição fácil das pessoas de empregos deslocados para empregos semelhantes para os quais seriam adequadas. Por exemplo, as habilidades intelectuais gerais exigidas para empregos de nível inicial em, por exemplo, finanças, consultoria e direito, são bastante semelhantes, mesmo que o conhecimento específico seja bem diferente. Uma tecnologia que desestabilizasse apenas um desses três permitiria que os funcionários mudassem para os outros dois substitutos próximos (ou que os graduandos mudassem de curso). Mas interromper os três ao mesmo tempo (junto com muitos outros trabalhos semelhantes) pode ser mais difícil para as pessoas se adaptarem. Além disso, não é apenas que a maioria dos empregos existentes será interrompida. Essa parte já aconteceu antes — lembre-se que a agricultura era uma grande porcentagem do emprego. Mas os agricultores podiam migrar para o trabalho relativamente semelhante de operar máquinas de fábrica, mesmo que esse trabalho não fosse comum antes. Em contraste, a IA está cada vez mais correspondendo ao perfil cognitivo geral dos humanos, o que significa que ela também será boa nos novos empregos que normalmente seriam criados em resposta à automatização dos antigos. Outra forma de dizer é que a IA não substitui empregos humanos específicos, mas sim um substituto geral do trabalho humano.

'Por exemplo, na programação, nossos modelos passaram do nível de "um programador medíocre" para "um programador forte" e depois para "um programador muito forte." Agora estamos começando a ver a mesma progressão no trabalho de colarinho branco em geral. Assim, corremos o risco de uma situação em que, em vez de afetar pessoas com habilidades específicas ou em profissões específicas (que podem se adaptar por meio de reeducação), a IA está afetando pessoas com certas propriedades cognitivas intrínsecas, nomeadamente menor capacidade intelectual (que é mais difícil de mudar). Não está claro para onde essas pessoas irão ou o que farão, e estou preocupado que possam formar uma "subclasse" desempregada ou de salário muito baixo.

A Anthropic planeja manter os funcionários mesmo depois que eles 'não forneçam mais valor econômico no sentido tradicional.' 'Terceiro, as empresas deveriam pensar em como cuidar de seus funcionários. No curto prazo, ser criativo em maneiras de realocar funcionários dentro das empresas pode ser uma maneira promissora de evitar a necessidade de demissões. A longo prazo, em um mundo com enorme riqueza total, no qual muitas empresas aumentam muito de valor devido ao aumento da produtividade e da concentração de capital, pode ser viável pagar aos funcionários humanos mesmo muito depois de eles deixarem de fornecer valor econômico no sentido tradicional. A Anthropic está atualmente considerando uma série de caminhos possíveis para nossos próprios funcionários que compartilharemos em um futuro próximo.'

'Todos os cofundadores da Anthropic se comprometeram a doar 80% do nosso patrimônio.'

Algumas verdades pesadas, concordo totalmente com isso e já disse coisas parecidas muitas vezes. 'Além disso, os últimos anos devem deixar claro que a ideia de parar ou até mesmo desacelerar substancialmente a tecnologia é fundamentalmente insustentável. A fórmula para construir sistemas de IA poderosos é incrivelmente simples, tanto que quase se pode dizer que surge espontaneamente da combinação certa de dados e computação bruta. Sua criação provavelmente foi inevitável no instante em que a humanidade inventou o transistor, ou talvez até antes, quando aprendemos a controlar o fogo. Se uma empresa não o construir, outras farão isso quase tão rápido. Se todas as empresas em países democráticos parassem ou desacelerassem o desenvolvimento, por acordo mútuo ou decreto regulatório, então os países autoritários simplesmente continuariam. Dado o incrível valor econômico e militar da tecnologia, junto com a falta de qualquer mecanismo significativo de fiscalização, não vejo como poderíamos convencê-los a parar.'

Ótimo, definitivamente vale a pena ler tudo. 'Os anos que virão serão impossivelmente difíceis, exigindo mais do que achamos que podemos dar. Mas, no meu tempo como pesquisador, líder e cidadão, vi coragem e nobreza suficientes para acreditar que podemos vencer—que, quando colocada nas circunstâncias mais sombrias, a humanidade tem uma maneira de reunir, aparentemente no último minuto, a força e a sabedoria necessárias para prevalecer. Não temos tempo a perder.'