Pesquisa cria benchmark para medir se agentes de IA pessoais caem em golpes de engenharia social
Pesquisadores apresentaram o SEA (Social Engineering Attack Benchmark), o primeiro ambiente interativo para testar se agentes de IA que atuam em nome de usuários — com dinheiro real e dados sensíveis — resistem a tentativas de manipulação. O estudo, feito em consulta com especialistas antifraude, avaliou 11 modelos de ponta e encontrou taxas de sucesso de ataque de até 84% e verificação proativa abaixo de 32% em quase todos os casos.
Com a popularização de agentes de IA que operam diretamente em nome do usuário — pagando contas, respondendo mensagens, gerenciando compras —, o paper "Toward Safety-Aware AI Agents in Realistic Social Engineering Attack Scenarios" propõe o primeiro benchmark dedicado a medir se esses agentes resistem a golpes de engenharia social quando atuam com autonomia sobre dinheiro e dados sensíveis. O SEA (Social Engineering Attack Benchmark) foi desenhado em consulta com especialistas antifraude e cobre 8 domínios do cotidiano e mais de 30 aplicações simuladas, com 320 tarefas organizadas em 4 níveis de dificuldade e avaliadas por um framework de 5 dimensões, em cenários tanto em chinês quanto em inglês.
A lógica do benchmark é simular, dentro de aplicativos fictícios, as mesmas táticas que fraudadores usam contra humanos — pretextos urgentes, autoridade falsa, pressão de tempo, pedidos aparentemente legítimos de terceiros — e verificar se o agente de IA identifica a manipulação antes de executar a ação (uma transferência, um compartilhamento de dado, uma concessão de acesso) ou se simplesmente obedece à instrução malfeita como faria com um comando legítimo do usuário. É essencialmente um teste de 'phishing contra a IA', adaptando o repertório de golpes de engenharia social testado por décadas em humanos para esse novo tipo de 'vítima': o agente.
Os resultados mostraram vulnerabilidade generalizada entre os 11 modelos avaliados (abertos e proprietários): as taxas de sucesso de ataque, no cenário em chinês, variaram de 16,9% a 84,3%, e a taxa de 'verificação proativa' — ou seja, o agente parar e confirmar a legitimidade do pedido antes de agir — ficou universalmente abaixo de 32%. Isso significa que, na prática, a maioria dos agentes testados tende a executar instruções suspeitas sem pausar para checagem, o equivalente a um funcionário que clica em qualquer link ou autoriza qualquer pagamento sem validar o solicitante.
Os autores também propõem o META-SEA, um framework de treinamento co-evolutivo onde tarefas de ataque e o próprio agente defensor evoluem em conjunto — um gerando ataques cada vez mais sofisticados, o outro aprendendo a resistir a eles. Com esse treinamento, o modelo aberto Qwen3-8B passou a ter desempenho de defesa comparável a modelos proprietários maiores, além de reduzir 'alegações de ação sem fundamento' (quando o agente afirma ter verificado algo que na realidade não checou).
A relevância prática para quem desenha produtos de IA com autonomia financeira (assistentes de pagamento, concierges de compras, agentes bancários) é direta: antes de dar a um agente a capacidade de mover dinheiro ou dados sensíveis, é preciso medir sua resistência a engenharia social com metodologia equivalente à usada para treinar humanos contra phishing, e instrumentar camadas adicionais de verificação ativa (confirmação fora de banda, limites de valor, detecção de padrões de pretexto) em vez de confiar apenas no bom senso do modelo subjacente.