Chatbots de IA: físicos de George Washington crean una fórmula para predecir cuándo empiezan a fallar

Un equipo de físicos de la Universidad George Washington (GWU), en Estados Unidos, asegura haber encontrado una fórmula capaz de estimar en qué momento los chatbots de IA dejan de dar respuestas correctas y empiezan a producir respuestas erróneas o dañinas. Las primeras pruebas, hechas sobre modelos de lenguaje pequeños, respaldan la predicción. Si el resultado se confirma en sistemas más grandes, ofrecería una forma de anticipar fallos que hoy suelen detectarse cuando el daño ya está hecho.

El trabajo apunta a uno de los problemas más incómodos de la inteligencia artificial generativa: el giro repentino. Un asistente puede responder con solvencia durante varios intercambios y, sin aviso aparente, empezar a inventar datos, contradecirse o entregar contenido inadecuado. Para el usuario, ese cambio parece aleatorio.

Publicidad

Estabilidad respaldada en Bitcoin

Descubre Dollar on Chain →

Una fórmula para anticipar el fallo de los chatbots de IA

Los investigadores presentaron sus conclusiones en un estudio publicado en la revista Patterns, del grupo Cell Press, y pusieron a disposición de la comunidad científica un preprint en arXiv, el repositorio donde se comparten borradores de investigación antes o en paralelo a su publicación formal.

El ángulo es poco habitual. En lugar de abordar el deterioro de las respuestas como un problema puramente de ingeniería de software, el equipo lo examina con herramientas de la física. La premisa es que el paso de una respuesta buena a una mala no ocurre por puro azar, sino que se comporta como un punto de inflexión: un umbral que, una vez cruzado, cambia el resultado del sistema.

Bajo esa lógica, la fórmula permitiría calcular de antemano en qué punto se produciría ese vuelco. Es una diferencia de fondo. Detectar una respuesta errónea después de generada es relativamente sencillo; saber que va a ocurrir antes de que ocurra es otra cosa.

Las pruebas iniciales se realizaron con modelos pequeños, y en ellos la predicción coincidió con el comportamiento observado. Los grandes sistemas comerciales, que son los que usa a diario la mayoría de la gente, todavía no forman parte de esa validación.

Por qué importa más allá del laboratorio

La confianza en los chatbots de IA se ha vuelto un asunto práctico. Estos sistemas ya se usan para redactar contratos, resumir informes financieros o analizar mercados. En el sector cripto, incluso se les pide escenarios de precio: hace poco, Claude, la IA de Anthropic, planteó una proyección para bitcoin hacia 2027, un ejercicio que muestra hasta qué punto los usuarios recurren a estas herramientas para orientarse.

El riesgo crece con los llamados agentes de IA, programas que no solo conversan sino que ejecutan acciones por su cuenta, como mover fondos, operar en un exchange o interactuar con contratos inteligentes. Un fallo súbito en un chatbot que responde preguntas genera una mala respuesta. En un agente con acceso a una billetera, puede traducirse en pérdidas reales.

Una herramienta capaz de anticipar ese momento abriría opciones concretas. Por ejemplo:

• Activar alertas o cortar la conversación antes de que el modelo cruce el umbral.
• Pedir verificación humana en tramos donde la probabilidad de error se dispara.
• Diseñar pruebas de auditoría más precisas para empresas y reguladores.

Este último punto tiene peso propio. Las normas sobre inteligencia artificial que se discuten en Europa y Estados Unidos insisten en la transparencia y en la capacidad de explicar por qué un sistema actúa como actúa. Un método matemático para predecir cuándo un modelo se desvía encajaría con esa exigencia, aunque por ahora sigue siendo un resultado académico.

Lo que falta por demostrar

Conviene leer el hallazgo con cautela. Que una fórmula funcione en modelos pequeños no garantiza que escale a sistemas con cientos de miles de millones de parámetros, entrenados con técnicas de ajuste y filtros de seguridad que cambian su comportamiento. La comunidad científica tendrá que replicar los resultados de forma independiente.

También queda por ver cómo reaccionan las empresas que desarrollan los grandes modelos. Para ellas, una métrica externa capaz de señalar cuándo su producto se vuelve poco fiable puede ser una herramienta útil o un dolor de cabeza reputacional, según cómo se use.

Con todo, el estudio cambia la pregunta. Durante años, la discusión sobre los errores de los chatbots de IA se centró en cuánto fallan. El equipo de George Washington propone preguntarse cuándo lo harán, y esa es una pregunta que, si tiene respuesta fiable, interesará tanto a desarrolladores como a quienes ya confían parte de su dinero a estas máquinas.