Estudo mostra que detectores de phishing por IA desabam diante de e-mails levemente adversariais
Pesquisadores compararam um classificador clássico (TF-IDF + regressão logística) com um modelo DistilBERT ajustado, treinados em mais de 82 mil e-mails de seis bases públicas, para detectar phishing. Ambos superaram 98% de acurácia em dados limpos, mas despencaram para cerca de 64% quando testados contra e-mails de phishing deliberadamente alterados para escapar da detecção — queda de mais de 34 pontos percentuais em ambos os modelos. O estudo reforça que acurácia em dados de teste "limpos" não prevê robustez real contra atacantes adaptativos.
O artigo faz uma comparação controlada entre duas abordagens comuns de detecção automática de phishing: um modelo clássico baseado em TF-IDF com regressão logística, e um DistilBERT ajustado, ambos treinados sobre um corpus unificado de 82.255 e-mails vindos de seis bases públicas. A avaliação foi feita em três condições — dados normais, phishing sintético e phishing adversarial (textos deliberadamente reformulados para escapar da detecção).
O achado central é que a acurácia acima de 98% em dados limpos não sobrevive ao teste adversarial: o modelo TF-IDF caiu para 64,00% e o DistilBERT para 63,64%, uma queda de mais de 34 pontos percentuais em ambos, praticamente empatados apesar de arquiteturas muito diferentes. Análises de interpretabilidade (LIME, SHAP e attention-rollout) mostram que os dois modelos usam evidências textuais distintas para decidir, mas ainda assim compartilham o mesmo grau de fragilidade — e concordam em apenas 54,9% dos e-mails adversariais, ou seja, um atacante que engana um modelo não necessariamente engana o outro.
A implicação prática para quem constrói ou compra filtros antiphishing é direta: número de acurácia em benchmark estático não diz quase nada sobre o comportamento do filtro contra um golpista que ativamente reformula o texto para escapar — o que é exatamente o que acontece em campanhas reais de phishing-as-a-service, que iteram o texto até passar pelos filtros dos provedores de e-mail.
A recomendação dos autores, e que vale para times de antifraude e segurança de e-mail corporativo, é tratar teste adversarial como parte obrigatória da avaliação de qualquer classificador de phishing antes de colocá-lo em produção, e considerar arquiteturas em conjunto (ensemble) já que modelos diferentes falham em amostras diferentes — a discordância entre eles pode ser aproveitada como sinal extra de risco, em vez de descartada.