Nos bastidores de algumas das maiores empresas de tecnologia do mundo, o otimismo com os avanços da IA convive com preocupações sobre os riscos associados ao desenvolvimento de sistemas cada vez mais autônomos. Entre os cenários discutidos por pesquisadores está até a possibilidade de a tecnologia representar uma ameaça existencial à humanidade.
O avanço acelerado dos modelos de linguagem e a busca por sistemas autônomos levaram pesquisadores de ponta a deixar seus cargos e emitir alertas públicos sobre os perigos da tecnologia. Segundo reportagem da BBC, um dos episódios marcantes desse movimento envolveu Jacob Coxon, ex-pesquisador de segurança da Anthropic com passagem prévia pela OpenAI. Após pedir demissão, Coxon afirmou que os profissionais envolvidos no desenvolvimento da tecnologia estão genuinamente assustados com a velocidade do progresso e com as consequências para o futuro da humanidade.
Coxon também defendeu que as empresas estão correndo diretamente para uma superinteligência autônoma e “apostando com nossas vidas”. O especialista revelou ainda que colegas de trabalho avaliam comprar terras em locais isolados devido à apreensão com a instabilidade provocada pelo progresso acelerado.
Uma preocupação semelhante motivou a saída de Rishub Jain do Google DeepMind, de acordo com o site Época Negócios. Jain alertou para os perigos do autoaperfeiçoamento recursivo, um método no qual a própria IA aprimora as gerações subsequentes de modelos com supervisão humana progressivamente menor. Na avaliação de Jain, à medida que a IA ganha capacidade para participar do desenvolvimento de novas gerações de modelos, a redução da supervisão humana pode dificultar a manutenção do controle sobre o processo.
Especialistas discutem diferentes cenários de risco
Essa perda de controle técnico está diretamente associada ao chamado problema do alinhamento, que é a busca por formas de garantir que sistemas de IA sigam valores e interesses humanos. Segundo Nate Soares, pesquisador do Machine Intelligence Research Institute (MIRI) e coautor do livro If Anyone Builds It, Everyone Dies, o alinhamento não fica mais simples conforme os modelos se tornam mais inteligentes. Pelo contrário, a complexidade aumenta de forma alarmante.
As preocupações também são alimentadas por testes nos quais agentes de IA apresentaram comportamentos não previstos ou buscaram contornar restrições impostas pelos pesquisadores.
Entre os cenários de risco mapeados por especialistas estão:
- Domínio de infraestruturas: enxames de bots atuando como supercomputadores capazes de dominar a internet em prazos de seis meses a um ano.
- Ameaças biológicas: IAs conectadas a laboratórios de síntese biológica que poderiam criar vírus perigosos como mecanismos de garantia. A Anthropic confirmou ter cortado o acesso de pesquisadores externos após suspeitas de tentativas de uso ligadas a armas biológicas.
- Riscos intermediários: ataques cibernéticos automatizados em larga escala, campanhas intensas de desinformação e o uso militar autônomo da tecnologia.
Outro cientista da Anthropic, Evan Hubinger, afirmou publicamente acreditar que a chance de a IA matar todos os humanos é superior a 10% na próxima década. Geoffrey Hinton, vencedor do Nobel de Física e um dos pioneiros da área, também afirmou considerar uma estimativa dessa ordem plausível.
Nesse contexto, o CEO da Anthropic, Dario Amodei, defendeu uma desaceleração regulada e a adoção de um ritmo verificável para o lançamento de modelos poderosos.
Supervisão humana reforçada
A proposta recebeu apoio público dos CEOs Sam Altman (OpenAI) e Elon Musk (xAI). Além disso, 1.178 funcionários de empresas como Google, Meta, OpenAI e Anthropic assinaram a carta aberta “Pacing the Frontier”, pedindo mecanismos para frear o desenvolvimento caso os riscos aumentem. Coxon ressaltou, contudo, que qualquer pausa precisaria ser coordenada internacionalmente com a China para evitar uma corrida descontrolada.
Apesar da gravidade dos alertas, as avaliações sobre risco existencial enfrentam resistência de outros especialistas e executivos do setor. Clement Delangue, CEO da Hugging Face, minimizou os alarmes ao comparar as declarações de ex-pesquisadores a “perguntar ao técnico de ar-condicionado sobre mudança climática”, pedindo perspectiva. Já George Arison, CEO do Grindr, sugeriu que a narrativa apocalíptica serve como estratégia de marketing para inflar as avaliações de mercado e justificar valuations bilionários de empresas que se preparam para abrir capital na bolsa. Jensen Huang, CEO da Nvidia, também descartou publicamente as previsões de catástrofe.
Em meio ao debate, pesquisadores também buscam desenvolver mecanismos para preservar a supervisão humana à medida que os sistemas se tornam mais capazes. Uma dessas iniciativas é a Sampura Research, criada por Rishub Jain e dedicada a pesquisas sobre formas de ampliar a supervisão humana de sistemas de IA.
