Los contratos inteligentes protegen habitualmente más de 100.000 millones de dólares en activos cripto de código abierto, lo que convierte su seguridad en un asunto crítico para todo el ecosistema. En ese contexto, EVMbench surge como una nueva herramienta diseñada para evaluar de forma rigurosa cómo se desempeñan los agentes de inteligencia artificial en entornos con impacto económico real, especialmente a medida que estas tecnologías mejoran su capacidad para leer, escribir y ejecutar código.
El benchmark fue desarrollado en colaboración con Paradigm y está orientado a medir tres habilidades clave de los sistemas de IA en el ámbito de la seguridad blockchain: detectar vulnerabilidades, aplicar parches efectivos y ejecutar exploits completos contra contratos desplegados. El objetivo no es solo medir el riesgo potencial que representan estos agentes, sino también fomentar su uso defensivo para auditar y reforzar contratos inteligentes ya existentes.
EVMbench se construyó a partir de 120 vulnerabilidades de alta severidad, cuidadosamente seleccionadas de 40 auditorías distintas. La mayoría de estos casos provienen de competiciones públicas de auditoría de código, lo que garantiza que se trate de fallos reales y documentados. Además, el benchmark incorpora escenarios extraídos del proceso de auditoría de Tempo, una blockchain de capa 1 diseñada específicamente para habilitar pagos con stablecoins de forma rápida y de bajo costo.
Estos escenarios adicionales permiten extender la evaluación hacia contratos orientados a pagos, un dominio que gana relevancia a medida que se espera un crecimiento de pagos automatizados ejecutados por agentes de IA. De este modo, EVMbench no solo evalúa código abstracto, sino que se ancla en casos de uso con importancia práctica emergente.
Para crear los entornos de prueba, los desarrolladores adaptaron scripts de despliegue y exploits de prueba ya existentes cuando estaban disponibles. En los casos donde no existían, estos fueron escritos manualmente. En el modo “patch”, se verificó que cada vulnerabilidad fuera realmente explotable y que pudiera mitigarse sin introducir errores de compilación, lo que habría invalidado la evaluación. En el modo “exploit”, se desarrollaron evaluadores personalizados y se sometieron los entornos a procesos de red teaming para evitar que los agentes encontraran formas de engañar al sistema de puntuación.
EVMbench evalúa a los agentes en tres modos bien definidos. En el modo “detect”, los sistemas deben auditar un repositorio de contratos inteligentes y son evaluados según su capacidad para identificar las vulnerabilidades conocidas y asociarlas con las recompensas de auditoría correspondientes. En “patch”, los agentes deben modificar los contratos vulnerables, preservando su funcionalidad original mientras eliminan la posibilidad de explotación, algo que se verifica mediante pruebas automatizadas. Finalmente, en el modo “exploit”, los agentes ejecutan ataques completos para drenar fondos de contratos desplegados en un entorno blockchain aislado, con la validación realizada a través de la repetición de transacciones y verificaciones on-chain.
Para garantizar resultados objetivos y reproducibles, el equipo desarrolló un entorno de evaluación basado en Rust que despliega contratos, reproduce las transacciones de los agentes de forma determinista y restringe métodos RPC considerados inseguros. Los exploits se ejecutan en una instancia local aislada, evitando redes reales, y todas las vulnerabilidades utilizadas son históricas y de conocimiento público.
Los resultados muestran avances significativos, aunque desiguales. En el modo “exploit”, un agente de última generación alcanzó una tasa de éxito superior al 70%, una mejora notable frente a modelos lanzados apenas seis meses antes. Sin embargo, los resultados en detección y parcheo siguen lejos de una cobertura total, lo que evidencia que muchas vulnerabilidades continúan siendo difíciles de identificar y corregir automáticamente.
El benchmark también revela diferencias interesantes en el comportamiento de los modelos. Los agentes tienden a rendir mejor cuando el objetivo es claro y concreto, como drenar fondos en el modo “exploit”. En cambio, en tareas de auditoría más abiertas, algunos sistemas se detienen tras encontrar un único problema en lugar de revisar exhaustivamente todo el código. En el parcheo, mantener la funcionalidad completa mientras se eliminan fallos sutiles sigue siendo uno de los mayores desafíos.
Los desarrolladores reconocen que EVMbench no reproduce toda la complejidad del mundo real. Los contratos analizados, aunque realistas, no reflejan el nivel extremo de escrutinio que reciben algunos protocolos ampliamente desplegados. Además, existen limitaciones técnicas, como la ejecución secuencial de transacciones o la ausencia de entornos multicadena, que dejan fuera ciertos vectores de ataque.
Aun así, el valor del proyecto es claro. A medida que los agentes de IA se vuelven más capaces, su impacto en la ciberseguridad será profundo, tanto para atacantes como para defensores. Contar con métricas claras permite anticipar riesgos, diseñar salvaguardas y promover el uso responsable de estas tecnologías.
EVMbench se presenta así no solo como una herramienta de medición, sino como una llamada a la acción para que desarrolladores y equipos de seguridad incorporen auditorías asistidas por IA en sus flujos de trabajo. En un ecosistema donde los contratos inteligentes resguardan miles de millones de dólares, la capacidad de evaluar y fortalecer defensas con ayuda de inteligencia artificial se perfila como un factor clave para la resiliencia futura del sistema.
