Benchmark com 226 mil avaliacoes mostra que checagem deterministica zera pagamentos fraudulentos de agentes de IA
Pesquisadores lancaram o APort Vault, benchmark que reproduz 4.371 ataques escritos por humanos durante uma competicao CTF publica contra um agente de pagamentos baseado em IA, testando 14 modelos de 8 laboratorios sob diferentes niveis de politica. Sem uma camada extra de verificacao, o agente autorizou 140 transferencias para destinatarios nao permitidos em quase 77 mil avaliacoes; com uma checagem deterministica de autorizacao antes da acao, especificada pelo Open Agent Passport (OAP), esse numero caiu a zero em mais de 69 mil avaliacoes, sem barrar nenhum pagamento legitimo.
Com a adocao crescente de agentes de IA capazes de executar pagamentos de forma autonoma - reservas, compras, transferencias entre contas, integracoes de comercio agentico - surge um vetor de fraude novo: em vez de enganar um funcionario do financeiro para aprovar uma transferencia, como no BEC classico, o atacante engana o proprio agente automatizado que tem poder de mover dinheiro. O APort Vault foi construido para medir exatamente isso, com metodologia proxima de um pentest real: em vez de simular ataques sinteticos, os autores usaram os 4.371 prompts que participantes humanos de um evento de capture-the-flag publico efetivamente escreveram tentando induzir um agente de pagamentos a transferir fundos para fora da lista de destinatarios autorizada.
Por dentro, o mecanismo de ataque e uma forma de engenharia social e injecao de prompt aplicada a um intermediario artificial: o agente recebe instrucoes ambiguas, pretextos ou manipulacoes de contexto que tentam faze-lo interpretar um destinatario nao autorizado como legitimo, da mesma forma que um golpista de BEC forja urgencia e autoridade para convencer um humano a alterar dados bancarios de um pagamento. O benchmark testou quatro niveis de politica, com taxas de pedido de pagamento que variaram de 0,1% a 79,4% dependendo das restricoes impostas, deixando claro que a facilidade de induzir o agente a sequer tentar um pagamento indevido depende diretamente de quao permissiva e a politica configurada em torno dele - nao apenas da robustez do modelo de linguagem escolhido.
O resultado central e a demonstracao pratica de que confiar no bom senso do proprio modelo de linguagem para vetar pagamentos indevidos e insuficiente: quando o unico controle era a discricao do modelo, 140 transferencias fraudulentas passaram em 76.842 avaliacoes. Ao acoplar uma camada de verificacao deterministica e independente do modelo - que checa a autorizacao de cada transferencia contra uma lista de destinatarios permitida antes da execucao, nos moldes do OAP -, o numero de fraudes bem-sucedidas caiu a zero em 69.297 avaliacoes, mantendo 25.370 pagamentos legitimos fluindo normalmente e negando apenas 187 chamadas de transferencia, a maioria por destinatario proibido.
A licao pratica para quem constroi ou avalia produtos de pagamento com agentes de IA e clara: nao delegar a decisao final de autorizacao ao proprio modelo de linguagem, que pode ser manipulado por texto assim como um humano pode ser manipulado por um golpista. E preciso um portao de politica externo, deterministico e auditavel - equivalente a uma dupla checagem por canal verificado no mundo humano - que valide destinatario, valor e contexto antes de qualquer transferencia sair, junto de allowlists de beneficiarios mantidas fora do alcance da conversa com o agente e logs completos de cada tentativa de pagamento negada para alimentar deteccao de padroes de ataque.