Pesquisa mostra que ataques adversariais contra detectores de deepfake ainda não escalam no mundo real
O framework MIG-COW consegue enganar detectores de deepfake em quase 100% dos casos quando o atacante conhece o modelo de detecção (cenário white-box), mas essa taxa despenca para apenas 7% contra sistemas de detecção reais e desconhecidos (black-box). O resultado é uma boa notícia relativa para quem usa deepfake e clonagem de voz como ferramenta antifraude: a fragilidade dos detectores demonstrada em laboratório não se transfere facilmente para ambientes de produção.
Detectores de deepfake são hoje uma peça relevante do arsenal antifraude, usados por bancos e fintechs para travar onboarding remoto e autenticação por vídeo contra fraudadores que usam rosto ou voz sintéticos. O problema estudado aqui é o inverso da detecção: dado um detector de deepfake, é possível modificar a imagem/vídeo falso de forma imperceptível ao olho humano para que o detector classifique como autêntico? Essa é a mesma lógica de ataque adversarial usada contra classificadores de fraude e scoring de risco, aplicada ao domínio de biometria sintética.
Por dentro, o MIG-COW combina duas técnicas de otimização — gradientes com momentum e uma decomposição que separa a parte do gradiente que é comum a vários modelos detectores da parte específica de cada um — para gerar uma perturbação que funcione contra famílias inteiras de detectores (tanto os baseados em CNN quanto os baseados em Vision Transformer) ao mesmo tempo, em vez de só contra um modelo específico. No cenário mais favorável ao atacante, onde ele tem acesso total ao modelo de detecção que será usado (white-box), a taxa de sucesso chega a praticamente 100%, mantendo alta fidelidade visual — ou seja, o deepfake adulterado continua parecendo normal a um humano.
A parte que importa para quem avalia risco real é a queda abrupta de desempenho em cenário black-box: contra os detectores oficiais do desafio, sem acesso prévio ao modelo, a taxa de sucesso cai para 7,16%, mesmo sendo o melhor resultado entre os métodos testados. Os próprios autores mostram ainda que incluir modelos substitutos de baixa qualidade no conjunto usado para criar o ataque piora o resultado do atacante — ou seja, construir um ataque transferível e genérico contra detectores desconhecidos continua sendo difícil mesmo para quem tem recursos de pesquisa.
Para equipes antifraude que dependem de verificação de vivacidade (liveness) e detecção de deepfake em KYC remoto, a lição prática é dupla: não expor detalhes do modelo de detecção usado em produção (manter como segredo reduz drasticamente o risco de ataque white-box) e, principalmente, usar ensembles diversos e trocados periodicamente — já que o estudo confirma que a transferência de um ataque entre arquiteturas diferentes de detector é o principal ponto fraco do atacante, não do defensor.