riscos ia Mind The Sec 2024 (Foto: Reprodução/ Mind The Sec via LinkedIn)

Prever riscos evita que IA traga mais problemas do que soluções

3 minutos de leitura

Governança de dados e compreensão dos mecanismos de aprendizado e análise são fundamentais para uma estratégia responsável



Por Vanderlei Campos em 20/09/2024

À medida que a proposta central da inteligência artificial é escalar as capacidades humanas, a máxima “errar é humano” escala nas mesmas proporções. “Estamos em uma nova era de compliance. Quem aprender a explorar a IA dentro dos princípios regulatórios, éticos e do próprio bom senso vai ter estabilidade e vantagens nas inovações” afirmou Rony Vainzof, especialista em Direito Digital e diretor do Departamento de Defesa e Segurança da FIESP.

Além dos dados pessoais e informações críticas, focos dos riscos legais e regulatórios, o especialista adverte que as falhas de governança – ou pior, a ausência de uma política que antecede as iniciativas – causam danos aos próprios resultados no dia a dia dos negócios. 

Na prática, ele indica que informações imprecisas ou negociações automáticas com regras ambíguas, por exemplo, já são causas de erros e prejuízos, cujas consequências vão da ridicularização a perdas financeiras.

Em um encontro com profissionais de cibersegurança durante o MindTheSec 2024, Vainzof enumerou os principais riscos, lacunas e contramedidas para uma jornada sustentável à adoção de IA. A partir de exemplos reais e amplamente conhecidos, ele apontou os desafios e erros mais comuns, assim como as formas de contorná-los.

Rony Vainzof

Dados pessoais e sensíveis com controles incipientes

Com um longo histórico de trabalhos e contribuições relacionadas à LGPD, Vainzof observou que neste momento a exposição de dados requer cuidados. “É preciso mapear como as pessoas estão usando os serviços de IA”, advertiu. 

Segundo ele, a experiência dos usuários não pode comprometer a privacidade e os segredos de negócios. “Se os funcionários colam notas de reunião, código-fonte ou planilhas no prompt de uma GenAI, não há como saber se essas informações aparecerão em uma resposta a um prompt de terceiros”, exemplificou.

Todavia, o advogado é otimista em relação às respostas das autoridades e aos ajustes de conduta dos principais players. Ele menciona a recente mudança nos termos de uso da Meta no Brasil, que teve que equiparar os controles do usuário, sobre o uso de seus posts para treinamento de IA, aos padrões de transparência e usabilidade da União Europeia. 

“Na Europa, foi feita uma explicação intensiva e o output era fácil, enquanto aqui eram necessários oito cliques para bloquear seus dados. Com a sanção da Agência Nacional de Proteção de Dados (ANPD ), a Meta consertou sua interface. Sem isso, se inibiria o treinamento de GenAI no Brasil”, disse.

Vainzof lembrou que a FTC (Comissão Federal de Comércio, dos EUA) já determinou a “implosão” de MLs (máquinas de aprendizado) treinadas com dados obtidos ilicitamente. Ainda assim, avaliou que reguladores, indústrias e as comunidades de direito e segurança estejam bem mobilizadas. “Já passamos por vários ciclos de amadurecimento com BYOD (acesso à empresa via dispositivos pessoais), home office e outros desafios. Em algum momento, as pessoas passaram a preferir deixar o dinheiro no banco em vez do colchão, assim como moveram seus dados para as nuvens. Tudo é questão de segurança jurídica e governança”, definiu.

Riscos cognitivos – os mistérios, alucinações e vieses da IA

riscos ia

Citando um caso de seu ramo, Vainzof contou que um advogado nos EUA, onde o direito é fortemente fundamentado em jurisprudência, recebeu de uma GenAI a referência de várias decisões precedentes. Seria um salto de produtividade, não fosse o fato de esses casos e julgamentos nunca terem acontecido. “Tem que se conhecer muito bem o tema para identificar respostas erradas e alucinações”, constata.

Em uma das aplicações mais comuns de IA, em chatbots, falhas de treinamento em respostas automatizadas sobre preços e tarifas podem causar problemas na experiência do consumidor ou até mesmo negociações fora de padrões razoáveis. “Processos técnicos são processos sociais com julgamentos humanos falíveis e convenções sociais injustas”, lembrou Vainzof. Nesse sentido, ele apontou que a autonomia e o aprendizado por parâmetros estatísticos das IAs precisam ser calibrados conforme a evolução dos valores e objetivos das empresas e da sociedade. 

“Se as automações para seleção e recrutamento tomarem como base apenas o histórico de contratações, os perfis de etnia e gênero se conservam, ainda que isso não faça diferença no que se quer avaliar”, exemplifica.

A explicabilidade – ou a capacidade de percorrer o caminho reverso de uma falha ou alucinação – é um desafio complexo, mas inexorável para entender e corrigir os erros de treinamento, muitos dos quais banais e difíceis de perceber. Por exemplo: uma aplicação de reconhecimento facial treinada com uma população de pouca diversidade insistia para que os usuários de ascendência asiática “abrissem os olhos”. 

Outro aplicativo que pegou um conjunto de fotos para diferenciar lobos de huskies siberianos usava como critério apenas a presença de neve, que compunha o cenário de todas as imagens com lobo na amostra. “Quanto mais simples o modelo, mas explicável. Com deep learning é difícil ter visibilidade dos processos; pode só ser possível controlar os dados de entrada e de saída”, reconheceu.

O especialista enfatizou ainda a necessidade de entender os riscos e aplicar os mecanismos de governança na medida certa, para cada modalidade ou caso de uso de IA. “É fundamental saber como se estão usando os dados e a IA. Um chatbot ou um sistema de decisões de RH têm pontos críticos muito diferentes, por exemplo. Quanto maior o risco, portanto, maior a necessidade de governança”, sumarizou.



Matérias relacionadas

Profissional de tecnologia colaborando em cibersegurança, segurando tablet com símbolo de cadeado, conceito de cooperação para proteção digital. Estratégia

Cooperação para cibersegurança: do cabo submarino ao modem doméstico

Reguladores buscam articulação de governo, indústria, operadoras, setor privado e sociedade para garantir um ambiente digital mais seguro

Especialista em cibersegurança analisando gráficos digitais de segurança e inteligência artificial em tela de computador moderna. Estratégia

Cibersegurança enfrenta novas ameaças e ainda tem que trabalhar nos fundamentos

Multicloud e agentes de IA ampliam a superfície de ataques, enquanto especialistas reforçam que executar bem o básico e alinhar prioridades faz diferença

Profissionais de saúde analisando dados de tecnologia de Saúde 5.0 que promove a equidade na medicina, com uso de inteligência artificial e inovação no setor Estratégia

Saúde 5.0 promove equidade na medicina

Uso de IA e tecnologias vestíveis amplia o acesso à saúde e fortalece a prevenção

Engenheiro industrial operando em uma fábrica moderna, representando a neoindustrialização brasileira com investimentos em tecnologia 4.0 para o desenvolvimento industrial. Estratégia

Neoindustrialização brasileira passa por investimentos em indústria 4.0

Painel na Futurecom discute como a nova indústria brasileira deve estimular o desenvolvimento tecnológico e capacitação profissional

    Embratel agora é Claro empresas Saiba mais