Pesquisa testa se modelos de linguagem realmente reconhecem golpes de identidade falsa
Um novo método usa material oficial de agências de defesa do consumidor para avaliar, de forma semi-automatizada, se LLMs como Gemini e GPT conseguem identificar de forma consistente narrativas de roubo de identidade e impostor scams (golpes de falsa identidade). A técnica gera variações do mesmo caso relatado e observa se o modelo responde de forma instável — sinal de que ele não entende o padrão do golpe, apenas reconhece palavras-chave superficiais. Os autores mostram que é possível distinguir modelos com conhecimento consistente sobre esses dois temas dos que falham em identificar o golpe corretamente.
O trabalho parte de um problema prático: LLMs já são usados para ajudar pessoas a identificar se estão sendo vítimas de um golpe, mas avaliar se o modelo realmente "entende" o funcionamento de um golpe de roubo de identidade ou impostor scam — e não apenas repete padrões textuais superficiais — normalmente exige bancos de perguntas manuais, caros de montar e manter atualizados.
A proposta usa como base narrativas reais de casos publicadas por agências de defesa do consumidor (CPAs), que descrevem incidentes concretos de roubo de identidade e golpes de falsa identidade de forma autorizada e verificada. A partir dessas narrativas, o método gera variações parafraseadas que preservam a mesma mecânica do golpe, e testa se o LLM classifica essas variações de forma consistente. Instabilidade nas respostas — o modelo acertar uma versão do caso e errar outra praticamente idêntica em conteúdo — é usada como sinal indireto de lacuna de conhecimento, já que um modelo que realmente entende o golpe deveria responder de forma estável independentemente da forma como o texto foi reescrito.
Aplicado a cinco LLMs das famílias Gemini e GPT, o método consegue separar modelos com conhecimento consistente sobre os dois temas testados dos que falham em identificar corretamente o golpe narrado — uma diferença que passaria despercebida em uma avaliação simples de acurácia sobre um conjunto fixo de perguntas.
A relevância prática para antifraude é direta: empresas e órgãos que pensam em usar assistentes de IA para orientar vítimas, triagem de denúncias ou atendimento sobre golpes não deveriam confiar apenas em uma acurácia agregada — vale testar a consistência do modelo com variações do mesmo caso antes de colocá-lo como camada de defesa ou orientação ao consumidor, já que uma resposta correta em um teste isolado pode não se repetir diante de uma formulação ligeiramente diferente do mesmo golpe.