ClaimMirage: domínios que se autodeclaram "não é phishing" enganam LLMs usados em triagem antifraude

O estudo ClaimMirage investigou um tipo sutil de manipulação: nomes de domínio que carregam, no próprio texto, uma alegação sobre si mesmos — como incluir "not-phishing", "official" ou "secure" no nome registrável — e o efeito disso no julgamento de modelos de linguagem usados para classificar risco. Os pesquisadores rodaram 622.080 julgamentos cobrindo 64 marcas e cinco LLMs diferentes, comparando dez tipos de alegação contra domínios de controle com comprimento e uso de hífen equivalentes.

O mecanismo não é um prompt injection clássico com instruções explícitas escondidas no conteúdo: é a simples presença de um termo semanticamente carregado no nome do domínio sob análise. Em uma configuração sem referência à marca legítima, termos de "aprovação" (como "official") aumentaram os alertas de phishing em até 65,6 pontos percentuais em relação ao controle — o oposto do esperado, sugerindo que o modelo pode interpretar até mal essa autoafirmação. Já termos de "negação de risco" ("not-phishing") reduziram os alertas em até 45,3 pontos percentuais, mesmo quando o prompt já incluía uma salvaguarda básica fornecendo o domínio oficial da marca para comparação.

O problema prático é que cada vez mais produtos de segurança — filtros de e-mail, extensões de navegador, ferramentas de triagem de URL em plataformas antifraude — estão incorporando LLMs como camada de decisão ou de priorização de alertas. Esse resultado mostra que um atacante não precisa comprometer o modelo nem inserir instruções ocultas: basta escolher cuidadosamente o nome do domínio malicioso para empurrar o julgamento do LLM na direção que quiser, para mais ou para menos alertas conforme o objetivo.

A mitigação recomendada pelos autores, e que vale para qualquer time que opere classificadores desse tipo, é nunca tratar a autoafirmação textual do artefato analisado como evidência — o domínio "diz" ser oficial ou seguro, mas isso não prova nada. A decisão final deve depender de sinais independentes e verificáveis: idade e histórico de WHOIS, reputação de IP/ASN, certificado TLS, similaridade estrutural com a marca real e comparação ativa com o domínio oficial conhecido. Equipes que mantêm pipelines de detecção de phishing baseados em LLM deveriam incluir esse tipo de teste adversarial — variar termos de legitimidade autodeclarada no artefato sob análise — como parte rotineira da avaliação de qualidade do classificador, monitorando especificamente a taxa de falso-negativo nesses casos.