Pesquisadores encontram vazamento de dados que inflava artificialmente a precisão de modelos de forense em Bitcoin
Um estudo em arXiv identificou vazamento de informação futura (data leakage) no Elliptic++, dataset de referência citado em mais de 1.300 trabalhos acadêmicos sobre detecção de atividade ilícita em Bitcoin. Ao corrigir a divisão temporal dos dados e documentar as definições reais das features, o desempenho de um modelo Random Forest despenca de F1 0,846 para apenas 0,291 na classe ilícita — deixando de superar até uma regressão logística simples.
Datasets de referência (benchmarks) são a régua com que a comunidade acadêmica mede o avanço de técnicas de detecção de fraude e lavagem de dinheiro em criptomoedas. O problema identificado neste estudo é estrutural: o Elliptic++ organizava seus dados de treino e teste sem respeitar a ordem cronológica real das transações, permitindo que modelos "vissem" implicitamente informação do futuro durante o treinamento — um erro clássico de avaliação que infla artificialmente métricas de desempenho.
Os autores reconstruíram as definições exatas das 55 features de nível de endereço do dataset, cruzando-as com dados públicos do próprio ledger do Bitcoin, e então recriaram um pipeline que respeita a ordem temporal real: cada endereço só pode usar informação disponível até o momento da sua primeira aparição, exatamente como aconteceria em um sistema de monitoramento operando em produção. O resultado foi uma queda brutal na métrica de detecção da classe ilícita, e mais importante, o modelo antes considerado "estado da arte" deixou de ter vantagem sobre uma técnica estatística simples.
A implicação prática para quem constrói ou avalia sistemas de compliance e AML em criptoativos é desconfortável: parte da literatura que embasa ferramentas de triagem de risco em exchanges e serviços de pagamento pode estar sobreestimando sua real capacidade de detectar lavagem de dinheiro, porque foi validada sobre um benchmark com vazamento. A recomendação prática decorrente é dupla — exigir validação temporal rigorosa (nunca treinar com dados posteriores ao ponto de decisão) antes de confiar em qualquer modelo de risco para produção, e tratar claims de desempenho em papers acadêmicos de detecção de fraude com o mesmo ceticismo que se aplicaria a um benchmark de performance em qualquer outra área crítica de segurança.