O avanço da inteligência artificial está criando uma nova geração de desafios de segurança que dificilmente poderá ser enfrentada por países, empresas ou instituições de forma isolada. Esse é o eixo do artigo Establishing the shared foundations for collective AI security, publicado na OECD.AI, plataforma da Organização para Cooperação e Desenvolvimento Econômico (OCDE) dedicada a promover a colaboração internacional para o desenvolvimento, a regulação e o uso responsável da inteligência artificial. Assinado por Hector de Rivoire, diretor de políticas públicas do escritório de IA responsável da Microsoft; Nicolas Butts, diretor de políticas de IA e cibersegurança da Microsoft; Constance de Leusse, diretora-executiva do AI & Society Institute, ligado à ENS-PSL University; e Elizabeth Seger, assessora sênior de políticas para Governança e Políticas de IA do Tony Blair Institute, o texto combina um mapeamento pragmático das principais ameaças emergentes com uma defesa explícita da cooperação internacional como requisito para fortalecer a segurança da IA.
Segundo os autores, embora a IA compartilhe muitos fundamentos da segurança digital tradicional, também apresenta características próprias que criam vetores de risco distintos. Os modelos aprendem a partir de grandes volumes de dados, produzem respostas de forma probabilística e, cada vez mais, atuam em sistemas de agentes capazes de executar tarefas de maneira relativamente autônoma. Essas características ampliam a superfície de ataque e criam vulnerabilidades sem precedentes em sistemas convencionais.
Como forma de organizar esse debate, o artigo identifica três frentes prioritárias de risco e mitigação. “Uma primeira abordagem para fortalecer os requisitos de segurança da IA seria unir recursos em três áreas: resiliência contra ataques escaláveis e reutilizáveis, como a injeção de prompt, especialmente na camada de interação; garantir a conexão segura dos agentes de IA com ferramentas e serviços; e fortalecer as salvaguardas para modelos, pesos dos modelos e integridade dos dados de treinamento”, propõem os autores.
A partir desse diagnóstico, os autores defendem a construção de mecanismos internacionais de pesquisa, avaliação e compartilhamento de evidências que permitam desenvolver respostas coordenadas para ameaças que, por sua própria natureza, ultrapassam fronteiras nacionais.
Ataques escaláveis e reutilizáveis
A primeira prioridade apontada pelos autores envolve a criação de mecanismos mais robustos para enfrentar ataques que possam ser reproduzidos em larga escala e adaptados para diferentes modelos e aplicações.
Entre eles, a injeção de prompts ocupa posição de destaque. Nesse tipo de ataque, comandos maliciosos são inseridos em documentos, páginas web, bases de conhecimento ou outras fontes de informação utilizadas pelos sistemas de IA. Quando esses conteúdos são processados, os modelos podem ser induzidos a ignorar instruções legítimas, revelar informações sensíveis ou executar ações não autorizadas.
O problema tende a se tornar mais relevante à medida que aplicações de IA passam a acessar um volume crescente de conteúdos externos e a desempenhar funções cada vez mais críticas. Além disso, diferentemente de vulnerabilidades tradicionais de software, muitas técnicas de injeção podem ser reutilizadas em diferentes plataformas, ampliando o potencial de disseminação dos ataques.
A resposta a esse desafio passa pela criação de métricas compartilhadas, metodologias comuns de avaliação e programas colaborativos de testes capazes de medir a eficácia das diferentes estratégias de mitigação.
A nova superfície de ataque dos agentes
A segunda frente de preocupação está associada à rápida evolução dos sistemas de agentes.
Ao contrário dos modelos conversacionais tradicionais, esses sistemas podem armazenar memória, planejar tarefas, acessar ferramentas externas, consultar bases de dados e executar sequências de ações com menor intervenção humana. Essa ampliação de capacidades também expande significativamente a superfície de ataque.
O artigo destaca riscos relacionados à manipulação de memórias persistentes, à exploração de ferramentas conectadas e à inserção de instruções maliciosas em conteúdos posteriormente consumidos pelos agentes. Em ambientes corporativos, essas vulnerabilidades podem resultar em ações indevidas, acesso não autorizado a recursos ou comprometimento de fluxos operacionais.
Segundo os autores, o desafio tende a crescer à medida que agentes deixam de atuar apenas em atividades de baixo risco e passam a participar de processos críticos para empresas e governos. “À medida que sistemas de IA agente avançam para domínios de maior risco, a coordenação de políticas de segurança e práticas de implementação se tornará cada vez mais importante”, advertem.
Nesse contexto, o artigo defende a adoção de princípios de segurança desde a concepção desses sistemas, incluindo mecanismos de controle de permissões, segmentação de funções, supervisão contínua e proteção das interfaces de integração com serviços externos.
O risco crescente do envenenamento de modelos
A terceira prioridade envolve a proteção dos próprios modelos e dos dados utilizados em seu treinamento.
O artigo observa que, durante muito tempo, prevaleceu a percepção de que ataques de envenenamento exigiriam a manipulação de grandes volumes de dados para produzir efeitos significativos. Estudos recentes, porém, indicam que essa barreira pode ser muito menor do que se imaginava.
“Pesquisas recentes desafiam essa suposição. Um estudo publicado em 2025 pela Anthropic, pelo Instituto de Segurança em IA do Reino Unido e pelo Instituto Alan Turing constatou que um número relativamente pequeno de documentos maliciosos (apenas 250, em alguns casos) pode ser suficiente para introduzir uma brecha em modelos de tamanhos muito diferentes. Uma pesquisa do CyLab, da Carnegie Mellon, demonstrou de forma semelhante que manipular apenas 0,1% do conjunto de dados de pré-treinamento de um modelo é suficiente para lançar ataques eficazes de envenenamento de dados”, cita o artigo.
A preocupação ganha relevância com a expansão dos ecossistemas de modelos abertos e da reutilização de modelos pré-treinados. Uma contaminação introduzida em uma etapa inicial do desenvolvimento pode se propagar por toda a cadeia de suprimentos da IA, alcançando aplicações derivadas e usuários finais.
Embora pesquisas recentes tenham avançado na identificação de modelos comprometidos e no desenvolvimento de técnicas de detecção comportamental, os autores argumentam que ainda há importantes lacunas em prevenção, monitoramento e recuperação desses ataques.
Construindo as bases da segurança compartilhada
Ao longo do artigo, os autores sustentam que nenhuma dessas três frentes de risco poderá ser compreendida ou mitigada adequadamente por iniciativas isoladas. A velocidade de evolução dos modelos, a circulação global de dados e a crescente interdependência dos ecossistemas de IA exigem formas mais amplas de coordenação internacional.
A proposta inclui o compartilhamento de evidências sobre vulnerabilidades, a construção conjunta de metodologias de teste, a criação de mecanismos de divulgação responsável de falhas e o desenvolvimento de referências comuns para avaliação de riscos e implementação de salvaguardas.
Nesse processo, plataformas multilaterais como a OECD.AI são apontadas como espaços importantes para aproximar governos, empresas, universidades e institutos de pesquisa, acelerando a produção de conhecimento coletivo sobre segurança da inteligência artificial.
“Essas três prioridades de segurança mostram que nenhum país provavelmente construirá a base de evidências necessária, a capacidade de teste e as práticas operacionais por conta própria. O objetivo mais eficaz é, portanto, fortalecer as bases da segurança compartilhada da IA”, enfatiza o artigo.
