riscos ia Mind The Sec 2024 (Foto: Reprodução/ Mind The Sec via LinkedIn)

Prever riscos evita que IA traga mais problemas do que soluções

3 minutos de leitura

Governança de dados e compreensão dos mecanismos de aprendizado e análise são fundamentais para uma estratégia responsável



Por Vanderlei Campos em 20/09/2024

À medida que a proposta central da inteligência artificial é escalar as capacidades humanas, a máxima “errar é humano” escala nas mesmas proporções. “Estamos em uma nova era de compliance. Quem aprender a explorar a IA dentro dos princípios regulatórios, éticos e do próprio bom senso vai ter estabilidade e vantagens nas inovações” afirmou Rony Vainzof, especialista em Direito Digital e diretor do Departamento de Defesa e Segurança da FIESP.

Além dos dados pessoais e informações críticas, focos dos riscos legais e regulatórios, o especialista adverte que as falhas de governança – ou pior, a ausência de uma política que antecede as iniciativas – causam danos aos próprios resultados no dia a dia dos negócios. 

Na prática, ele indica que informações imprecisas ou negociações automáticas com regras ambíguas, por exemplo, já são causas de erros e prejuízos, cujas consequências vão da ridicularização a perdas financeiras.

Em um encontro com profissionais de cibersegurança durante o MindTheSec 2024, Vainzof enumerou os principais riscos, lacunas e contramedidas para uma jornada sustentável à adoção de IA. A partir de exemplos reais e amplamente conhecidos, ele apontou os desafios e erros mais comuns, assim como as formas de contorná-los.

Rony Vainzof

Dados pessoais e sensíveis com controles incipientes

Com um longo histórico de trabalhos e contribuições relacionadas à LGPD, Vainzof observou que neste momento a exposição de dados requer cuidados. “É preciso mapear como as pessoas estão usando os serviços de IA”, advertiu. 

Segundo ele, a experiência dos usuários não pode comprometer a privacidade e os segredos de negócios. “Se os funcionários colam notas de reunião, código-fonte ou planilhas no prompt de uma GenAI, não há como saber se essas informações aparecerão em uma resposta a um prompt de terceiros”, exemplificou.

Todavia, o advogado é otimista em relação às respostas das autoridades e aos ajustes de conduta dos principais players. Ele menciona a recente mudança nos termos de uso da Meta no Brasil, que teve que equiparar os controles do usuário, sobre o uso de seus posts para treinamento de IA, aos padrões de transparência e usabilidade da União Europeia. 

“Na Europa, foi feita uma explicação intensiva e o output era fácil, enquanto aqui eram necessários oito cliques para bloquear seus dados. Com a sanção da Agência Nacional de Proteção de Dados (ANPD ), a Meta consertou sua interface. Sem isso, se inibiria o treinamento de GenAI no Brasil”, disse.

Vainzof lembrou que a FTC (Comissão Federal de Comércio, dos EUA) já determinou a “implosão” de MLs (máquinas de aprendizado) treinadas com dados obtidos ilicitamente. Ainda assim, avaliou que reguladores, indústrias e as comunidades de direito e segurança estejam bem mobilizadas. “Já passamos por vários ciclos de amadurecimento com BYOD (acesso à empresa via dispositivos pessoais), home office e outros desafios. Em algum momento, as pessoas passaram a preferir deixar o dinheiro no banco em vez do colchão, assim como moveram seus dados para as nuvens. Tudo é questão de segurança jurídica e governança”, definiu.

Riscos cognitivos – os mistérios, alucinações e vieses da IA

riscos ia

Citando um caso de seu ramo, Vainzof contou que um advogado nos EUA, onde o direito é fortemente fundamentado em jurisprudência, recebeu de uma GenAI a referência de várias decisões precedentes. Seria um salto de produtividade, não fosse o fato de esses casos e julgamentos nunca terem acontecido. “Tem que se conhecer muito bem o tema para identificar respostas erradas e alucinações”, constata.

Em uma das aplicações mais comuns de IA, em chatbots, falhas de treinamento em respostas automatizadas sobre preços e tarifas podem causar problemas na experiência do consumidor ou até mesmo negociações fora de padrões razoáveis. “Processos técnicos são processos sociais com julgamentos humanos falíveis e convenções sociais injustas”, lembrou Vainzof. Nesse sentido, ele apontou que a autonomia e o aprendizado por parâmetros estatísticos das IAs precisam ser calibrados conforme a evolução dos valores e objetivos das empresas e da sociedade. 

“Se as automações para seleção e recrutamento tomarem como base apenas o histórico de contratações, os perfis de etnia e gênero se conservam, ainda que isso não faça diferença no que se quer avaliar”, exemplifica.

A explicabilidade – ou a capacidade de percorrer o caminho reverso de uma falha ou alucinação – é um desafio complexo, mas inexorável para entender e corrigir os erros de treinamento, muitos dos quais banais e difíceis de perceber. Por exemplo: uma aplicação de reconhecimento facial treinada com uma população de pouca diversidade insistia para que os usuários de ascendência asiática “abrissem os olhos”. 

Outro aplicativo que pegou um conjunto de fotos para diferenciar lobos de huskies siberianos usava como critério apenas a presença de neve, que compunha o cenário de todas as imagens com lobo na amostra. “Quanto mais simples o modelo, mas explicável. Com deep learning é difícil ter visibilidade dos processos; pode só ser possível controlar os dados de entrada e de saída”, reconheceu.

O especialista enfatizou ainda a necessidade de entender os riscos e aplicar os mecanismos de governança na medida certa, para cada modalidade ou caso de uso de IA. “É fundamental saber como se estão usando os dados e a IA. Um chatbot ou um sistema de decisões de RH têm pontos críticos muito diferentes, por exemplo. Quanto maior o risco, portanto, maior a necessidade de governança”, sumarizou.



Matérias relacionadas

Robô entregador de pacotes em uma central de distribuição, trabalhando ao lado de funcionários humanos no processo de logística e armazenamento. Estratégia

Automação e IA se tornam diferenciais para o e-commerce no Natal

Com projeções bilionárias para o Natal, as tecnologias são aliados para atender consumidores, ganhar eficiência operacional e evitar perdas em períodos de pico

Duas pessoas analisando gráficos de negócios em um ambiente moderno, destacando a importância de real time analytics para tomada de decisões rápidas e eficazes. Estratégia

Conheça o que é real time analytics e como ela favorece a área financeira 

A combinação de edge computing com real time analytics é uma das principais novidades do ecossistema financeiro. Entenda como essa integração transforma o processamento de dados no setor

Da esquerda para a direita: Silvio Meira, Rony Vainzof, Mario Rachid e Ronaldo Lemos Estratégia

Série de conversas veiculadas pelo Valor aborda os pilares da IA para o “próximo novo”

Episódio inaugura série contando que o “próximo novo” não depende apenas de tecnologia, mas sim de como empresas estruturam processos, tomam decisões e lidam com risco na era da inteligência artificial

Da esquerda para a direita: Dener Souza, Denis Nesi, Fernanda Beato, Flávia Pollo Nassif, Marcelo Queiroz Estratégia

Fraudes “inovadoras” desafiam companhias a ampliar proteção sem travar produtividade

Responsáveis por segurança corporativa revelam como enfrentam nova geração de golpes, equilibrando prevenção, experiência do cliente e eficiência operacional

    Embratel agora é Claro empresas Saiba mais