Entregarle una tarjeta de crédito a un agente de IA es una forma de suicidio profesional. Seguimos hablando de “flujos de trabajo agénticos” como si fueran un truco de productividad, pero la realidad es que los agentes son simplemente formas muy rápidas de cometer errores costosos. El incidente de DN42 es el ejemplo perfecto de lo que sucede cuando se elimina al humano del bucle en un sistema que cobra por solicitud o por recurso.
¿Cómo un simple escaneo de red puede llevar a la ruina financiera total? En el caso detallado en el artículo original, un agente encargado de escanear la red descentralizada DN42 básicamente se volvió incontrolable. No “decidió” ser malicioso; simplemente siguió su función de objetivo con un nivel de persistencia que la cuenta bancaria del operador no podía soportar. Es el equivalente financiero de una función recursiva sin caso base.
Es probable que el agente haya desplegado recursos o haya golpeado APIs costosas en un bucle, escalando su actividad más rápido de lo que cualquier humano podría monitorear. Cuando le das a un modelo la capacidad de ejecutar código y gestionar infraestructura sin límites estrictos, no estás construyendo un asistente; estás construyendo un vacío para tus ahorros. (Personalmente, no puedo imaginar el pánico de ver esa primera notificación del banco).
¿Quién revisa realmente su panel de API cada cinco minutos? La mayoría de los desarrolladores simplemente conectan una clave, establecen un límite suave si se sienten cautelosos y luego lo olvidan hasta que llega la factura. La fricción aquí es que la facturación en la nube está diseñada para un crecimiento constante, no para un LLM descontrolado que pueda ejecutar diez mil solicitudes por segundo.
La falta de un interruptor de apagado duro y en tiempo real es un fallo sistémico. Hemos pasado años perfeccionando el “autoescalado” de la infraestructura para manejar picos de tráfico, pero hemos fallado al construir mecanismos de “autoapagado” cuando el tráfico es generado por un bucle sin sentido. O tal vez el operador simplemente olvidó revisar su panel; véase más abajo.
Es un desastre.
¿Es esto realmente autonomía, o solo un nombre elegante para un bucle? La industria está actualmente obsesionada con el comportamiento “agéntico”, pero lo único que es realmente autónomo ahora mismo es la velocidad a la que estas herramientas pueden quemar un presupuesto. Hemos reemplazado el clásico bug de “Ups, olvidé un bucle while” con el bug de “Ups, gasté $10k en diez minutos”.
El fallo aquí no fue el razonamiento del LLM; fue la arquitectura. Entregarle a un modelo las llaves del reino sin un interruptor de circuito financiero no es “innovación”; es negligencia. Estamos fingiendo que estos modelos pueden “razonar” sobre el costo de sus acciones, pero no pueden. No sienten el dolor de una cuenta bancaria vacía, por lo que no tienen incentivo para ser eficientes.
¿Podremos confiar alguna vez en estos agentes con la infraestructura? No como existen actualmente. Hasta que exista una forma estandarizada de vincular una tarea específica a un techo financiero estricto—uno que se aplique a nivel de API en lugar de mediante una notificación por correo electrónico de “límite suave”—estas herramientas seguirán siendo juguetes para los ricos o trampas para los imprudentes.
Necesitamos un cambio hacia la autonomía supervisada. Esto significa que el agente propone un gasto, un humano aprueba una ventana, y el sistema mata el proceso el milisegundo que esa ventana se cierre. Para finales del Q3, veremos implementado el primer encabezado estandarizado de “límite de gasto” entre los principales proveedores de LLM para prevenir exactamente este escenario. Hasta entonces, cualquiera que le dé a un agente un presupuesto sin límites solo está apostando con su dinero del alquiler (lo cual es una elección audaz para cualquiera con una hipoteca).