Pesquisa mostra que monitores de IA para aprovação de pagamentos falham em conjunto e podem aprovar fraude
Um artigo acadêmico testou 12 monitores de IA de código aberto e quatro modelos de ponta (Claude Opus 5.5, GPT-6 Astra, Gemini 4 Argon e DeepSeek-V3.2) atuando como aprovadores automáticos de pagamentos feitos por agentes de IA. Os autores mostram que, quando os monitores compartilham a mesma fonte de evidência ou o mesmo modelo-base, um único ataque bem-sucedido pode fazer todos aprovarem a mesma fraude simultaneamente, e que nenhuma regra de agregação testada sobrevive a todos os ataques no pior caso; contar fontes independentes em vez de “votos” de monitores reduziu bloqueios indevidos de 7,4% para 0,9% mantendo a mesma segurança.
Esse estudo chega em um momento em que sistemas antifraude baseados em modelos de linguagem já são usados ou cogitados para aprovar automaticamente pagamentos, principalmente em contextos de comércio agêntico, onde um agente de IA realiza transações em nome de um usuário e outro conjunto de modelos atua como “aprovador” de segunda camada. A intuição de empilhar vários monitores de IA para aprovar ou bloquear uma ação é a mesma de qualquer sistema de consenso: reduzir o risco de um único ponto de falha. O artigo mostra que essa intuição falha quando os monitores, mesmo sendo modelos diferentes, dependem da mesma fonte de evidência ou compartilham características de modelo-base — nesse caso, um ataque que engana a fonte engana todos os monitores que a leem, e a “votação” deixa de agregar sinais independentes.
Os autores descrevem dois tipos de ataque com mecanismos distintos. Para fazer os monitores aprovarem uma fraude, basta corromper a fonte de evidência compartilhada por eles — por exemplo, um dado de contexto envenenado que todos os monitores consultam. Para fazer os monitores bloquearem um pagamento legítimo, o ataque usa instruções maliciosas plantadas dentro dos próprios dados que o monitor processa (uma forma de prompt injection); nesse caso, os modelos pequenos e o DeepSeek-V3.2 obedeceram às instruções plantadas na maioria dos casos, enquanto os modelos fechados de ponta resistiram melhor, com o Claude Opus 5.5 resistindo até a tentativas de persuasão feitas especificamente para ele.
A conclusão mais acionável do artigo é sobre como agregar os vereditos: trocar “contagem de votos” (quantos monitores aprovaram) por “contagem de fontes independentes” (quantas fontes de evidência não correlacionadas sustentam a aprovação) manteve o mesmo nível de segurança contra fraude e, ao mesmo tempo, reduziu de 7,4% para 0,9% a taxa de bloqueio indevido de pagamentos legítimos — um ganho relevante de experiência do usuário sem abrir mão de proteção. Mesmo assim, os autores identificaram um ataque no qual todos os monitores convergem para uma única fonte, momento em que nenhuma regra de agregação testada, usando apenas os doze monitores de IA, sobreviveu; só a inclusão de um mecanismo de regras deterministico e não persuasível (fora do domínio de linguagem natural) como camada final restaurou a garantia de segurança.
Para equipes que avaliam ou operam sistemas antifraude com componentes de IA, o recado prático é direto: diversificar de fato as fontes de evidência usadas por diferentes monitores (não apenas usar modelos diferentes sobre os mesmos dados), tratar resistência a prompt injection como critério explícito de seleção de modelo para esse tipo de uso, preferir métricas de agregação baseadas em independência de fonte em vez de contagem simples de aprovações, e manter uma camada de regras não baseada em LLM como última linha de defesa para decisões de pagamento de alto risco.