Pesquisa demonstra que agentes de IA podem vazar dados financeiros e números de identificação do usuário mesmo sem serem hackeados diretamente
Pesquisadores mostraram que a simples presença de dados sensíveis — senhas, histórico médico, dados financeiros — no contexto de um modelo de linguagem pode vazar de forma sutil em respostas aparentemente inofensivas, mesmo quando o modelo se recusa a revelar a informação diretamente. Usando um classificador treinado e um adversário treinado por reforço, os autores conseguiram extrair números completos de Social Security Number (equivalente ao CPF nos EUA) de um agente em estilo produção, e descobriram que modelos mais capazes vazam mais, não menos.
O estudo investiga um vetor de vazamento pouco explorado: em vez de tentar fazer o modelo revelar diretamente um segredo presente no seu contexto (o que a maioria dos modelos já se recusa a fazer), os pesquisadores verificaram se a mera presença desse segredo introduz correlações ocultas nas respostas comuns e não adversariais do modelo — e se um atacante consegue reconstruir a informação a partir dessas respostas benignas, sem nunca receber uma recusa como sinal de alerta.
Por dentro, o ataque funciona em modo caixa-preta, sem acesso aos pesos ou logits do modelo, apenas às respostas de texto que ele normalmente daria a um usuário legítimo. Testado contra oito modelos proprietários, o método reconstrói segredos de dois dígitos com acurácia quase perfeita e segredos de quatro dígitos com 82% de acerto exato, a partir de saídas geradas em resposta a pedidos comuns do dia a dia, sem qualquer prompt obviamente malicioso. Os autores validaram dois ataques práticos concretos: um classificador capaz de inferir predicados sensíveis sobre o usuário (por exemplo, uma condição de saúde ou um evento financeiro específico) a partir de respostas rotineiras, e um adversário treinado por aprendizado por reforço que extraiu números completos de Social Security Number de um agente com arquitetura similar à de produção real.
O achado mais contraintuitivo é que a capacidade do vazamento cresce junto com a capacidade do modelo: quanto melhor o modelo segue instruções, mais sensível ele é a esse tipo de correlação indireta, o que sugere que não se trata de um bug pontual e corrigível, mas de um subproduto estrutural de modelos mais capazes. Isso é particularmente relevante para o ecossistema de fraude digital porque cada vez mais empresas colocam agentes de atendimento, copilotos de suporte e assistentes financeiros com acesso a CPF, renda, saldo e histórico de transações no contexto de conversas com clientes ou funcionários — criando uma superfície de roubo de identidade em massa que não depende de invadir sistema nenhum, apenas de interagir normalmente com o agente ou de induzir terceiros a fazê-lo.
Como esse vazamento não é uma vulnerabilidade de código tradicional, a mitigação recomendada passa por minimizar o quanto de dado sensível é realmente necessário manter no contexto de um agente, aplicar redação e segregação de dados antes que cheguem ao modelo, e monitorar estatisticamente as saídas de agentes voltados ao cliente em busca de padrões de vazamento indireto — tratando qualquer agente de IA com acesso a dados financeiros ou de identificação pessoal como parte da superfície de ataque antifraude da empresa, sujeito aos mesmos controles de limitação de taxa e detecção de anomalia que já se aplica a outros canais sensíveis.