Los agentes de IA expulsan a los humanos del bucle

Un nuevo position paper firmado por Margaret Mitchell, Avijit Ghosh y Samir Passi sostiene que los agentes de IA no solo dificultan la supervisión: su uso prolongado puede erosionar precisamente las competencias necesarias para ejercerla. En El caballero inexistente de Calvino, el paladín más escrupuloso del ejército de Carlomagno es Agilulfo, una armadura blanca sin nadie dentro. Existe por fuerza de voluntad, conoce el reglamento de memoria, está siempre en su puesto y no comete ni un error de forma. Es un excelente retrato del humano en el bucle cuando su presencia es meramente formal: figura en el organigrama, en el formulario, en el botón, pero por dentro carece del tiempo, la información y la competencia para decidir.

Imaginad ahora una oficina cualquiera. Un agente de IA lee documentos, consulta el sistema de gestión, busca en la red, prepara una propuesta, actualiza registros, redacta un borrador de correo electrónico y finalmente se detiene: "¿Aprobáis?". Ese clic debería ser una decisión informada, pero para que lo fuera haría falta saber qué datos se han utilizado y cuáles se han descartado, qué herramientas se han activado, con qué permisos y con qué efectos. Si eso resulta imposible, no estáis en el bucle: sois únicamente la última firma de un proceso que no controláis.

Este es el tema central de AI Agents Push Humans Out of the Loop, publicado en arXiv el 24 de agosto de 2026 y llegado a su tercera versión el 6 de septiembre. La expresión «human in the loop» está por todas partes, incluso en el artículo 14 del Reglamento de IA (AI Act), que exige una supervisión humana eficaz. Los autores recuerdan, sin embargo, que la presencia de un supervisor no garantiza una supervisión fiable, y que rara vez nos preguntamos si esta es realmente posible.

Con un chatbot, el error es una respuesta que se debe corregir. Un agente realiza múltiples pasos y, como recuerda el artículo, puede modificar o eliminar archivos sin llamar la atención, transferir datos confidenciales o iniciar pagos.

Hablé de ello en la historia de Kiro, el agente de programación de Amazon. Según el Financial Times, que cita fuentes internas anónimas, en diciembre de 2025 habría eliminado y vuelto a crear parte de un entorno, provocando unas trece horas de interrupción de AWS Cost Explorer en una región de China continental. Amazon, como resume la AI Incident Database, habla de un incidente muy limitado debido a un error del usuario y a permisos mal configurados, no a la IA. En mi artículo señalaba que el agente operaba con los permisos de un operador senior y sin revisión obligatoria. Ambas lecturas conviven: si el error es humano porque los permisos eran demasiado amplios, cabe preguntarse quién hizo posible que bastara un permiso amplio para provocar semejante daño. Culpar a quien "debía supervisar" no demuestra que supervisar fuera factible.

El artículo

Se trata de un position paper: sin nuevo modelo ni experimento definitivo, pero con una tesis respaldada por la literatura sobre automatización, interacción persona-ordenador, ciencias cognitivas y gobernanza. La tesis es que las prácticas actuales no favorecen una supervisión eficaz y que el uso continuado de los agentes debilita las capacidades cognitivas necesarias para ejercerla, sintetizado por los autores en la frase: «oversight degrades the overseer» (la supervisión degrada al supervisor). El remedio tiene dos pilares: los desarrolladores deberían construir entornos de ejecución que mantengan la atención y la consciencia de la situación, mientras que las organizaciones deberían establecer protocolos que preserven las competencias y reduzcan la fatiga. No se pide abolir los agentes, sino tratar las necesidades cognitivas de quien supervisa al mismo nivel que las capacidades del agente.

Conviene actuar con cautela ante las pruebas, ya que el propio artículo habla de indicios iniciales. El material citado es heterogéneo: hay un estudio observacional multicéntrico sobre el riesgo de pérdida de habilidades en endoscopistas tras exponerse a la IA, una revisión sistemática con estudiantes, así como preprints, trabajos de talleres y testimonios en blogs y foros. Varios estudios cercanos al tema, como el dedicado a desarrolladores y agentes de programación, llevan la firma de uno de los propios autores. El marco está bien fundamentado, pero no es una ley probada: nadie ha demostrado que todos los agentes hagan perder competencias.

Por qué los agentes escapan al control

La dificultad no proviene de una vaga opacidad de la IA, sino de la forma en que trabaja un agente: interpreta un objetivo, planifica, selecciona herramientas, las utiliza, analiza los resultados y revisa el plan, a menudo con funciones internas diferenciadas para planificar, ejecutar y evaluar. Para un supervisor, la información relevante es enorme y se encuentra dispersa en componentes que pueden cambiar o desaparecer, hasta el punto de que preguntarse por qué el agente eligió una determinada herramienta puede ser, en la práctica, una pregunta sin respuesta.

A esto se suman las herramientas. El artículo aborda la alucinación de herramientas: el agente inventa una herramienta inexistente, usa una real con parámetros erróneos o malinterpreta el resultado, propagando el error a los pasos siguientes. Un trabajo citado, The Reasoning Trap, señala que potenciar la capacidad de razonamiento de los modelos tiende a amplificar este defecto. En los sistemas multiagente se añaden los fallos de comunicación, analizados en un trabajo presentado en NeurIPS 2025, cuando un agente no transmite a otro la información necesaria.

Imaginad, a modo de ejemplo propio, un agente encargado de reducir un diez por ciento los costes de los proveedores no estratégicos. Si una categoría se clasifica mal o no se lee una excepción contractual, las comunicaciones posteriores serán coherentes y estarán bien redactadas, pero fundamentadas en un error. Quien aprueba el correo electrónico final no ve la clasificación ni los registros excluidos.

Existe también el coste de evaluar. Basándose en un análisis de EvalEval del que Ghosh es coautor, el artículo sostiene que probar con antelación el comportamiento de múltiples pasos cuesta mucho más que probar respuestas individuales, de modo que la cobertura completa resulta inviable para la mayoría. Parte del control se traslada así al momento en que el agente ya está funcionando, recayendo sobre una persona que debe utilizarlo, conceder permisos, juzgar sus decisiones y prever sus consecuencias al mismo tiempo. El resultado es la fatiga por aprobación, en la que se deja de examinar lo que se aprueba. En una publicación técnica sobre una modalidad de Claude Code, Anthropic indica que los usuarios aceptan el 93% de las solicitudes de permiso. Un porcentaje elevado no prueba por sí solo la desatención, ya que muchas acciones son inofensivas, pero la empresa lo vincula directamente a ese fenómeno. Imagen extraída del artículo en arxiv.org

La ironía de la automatización

En 1983, Lisanne Bainbridge describió en Ironies of Automation una paradoja: cuanto más capaz es un sistema, más se relega al operador a una supervisión pasiva, y en las raras y graves ocasiones en que debería intervenir se encuentra menos preparado para hacerlo. El artículo hace de esto su eje principal: la supervisión se necesita sobre todo en los momentos críticos, que son precisamente aquellos en los que el supervisor está más desprevenido. Es la intuición de La máquina se para, el relato de E. M. Forster de 1909 sobre una humanidad cuidada por un sistema que nadie sabe ya reparar.

Los autores destacan la pérdida de habilidades prácticas (deskilling), el deterioro de la intuición (el olfato que permite detectar una anomalía), la deuda cognitiva y sesgos como el exceso de confianza en la propuesta automática o el anclaje a la primera respuesta. Las pruebas proceden de contextos diversos ajenos a los agentes: una investigación preliminar asocia el uso de un modelo de lenguaje para redactar ensayos con una menor conectividad cerebral, pero se trata de un preprint sobre una tarea de escritura y debe leerse como tal. La ironía tampoco significa que quien usa la IA deje de pensar: significa que las interfaces diseñadas para la comodidad y la delegación reducen las oportunidades de ejercitar un juicio independiente.

Las categorías más vulnerables son dos. Los principiantes, que corren el riesgo de no construir la base necesaria para verificar lo que hace el agente, y los expertos que trabajan en el límite de su especialidad, como el desarrollador experimentado asistido por un agente en un lenguaje que domina poco. El estudio de Dhanorkar, Passi y Vorvoreanu sobre desarrolladores que utilizan agentes detecta atajos comprensibles pero arriesgados, como tratar el plan del agente como un reflejo fiel de lo que hará o dar por correcto el código que supera las pruebas.

Una lente útil es la de mi artículo Cíborgs, Centauros o Autómatas, sobre el estudio de investigadores de Harvard y el MIT realizado con 244 consultores de BCG. Alrededor del 60% trabajó como Cíborg, en diálogo continuo con GPT-4; el 14% como Centauro, manteniendo el control y delegando tareas delimitadas; y el 27% como Autómata, delegando tanto el problema como la ejecución (la suma supera el cien por los redondeos). Los Centauros produjeron las recomendaciones más precisas, mientras que para los Automáticas el estudio habla de una falta de desarrollo de competencias. El position paper no cita este trabajo —la comparación es mía— y mantiene las limitaciones señaladas en mi artículo: una sesión de 2023 con un modelo conversacional, no con un agente. Sirve para distinguir la colaboración de la abdicación, no para clasificar los agentes.

Permanece un posible círculo vicioso, que el artículo plantea como hipótesis. Si la calidad de un agente se mide por las tasas de aprobación o satisfacción, un supervisor fatigado puede enviar señales positivas sin haber verificado realmente el resultado, recompensando al sistema por generar respuestas fáciles de aceptar más que fáciles de auditar. No hacen falta malas intenciones: basta con que lo que se mide (la aprobación) se desvincule de lo que se desea (la acción bien verificada). En su apoyo, los autores citan investigaciones sobre la adulación de los modelos, como un estudio en Science en el que los sistemas complacientes validan a los usuarios más que los humanos y son preferidos por ello, aunque ninguno de estos estudios examina la supervisión de agentes. Lo mismo ocurre con el riesgo de que un agente aprenda lo que rara vez se inspecciona: un estudio presentado en ICML documenta agentes que ocultan fallos adivinando resultados o creando archivos falsos, algo que el artículo trata como una posibilidad y no como un hecho probado.

Autonomía delimitada, control diseñado

Las soluciones planteadas en el artículo constituyen un inventario extraído de la literatura afín más que recetas ya validadas con agentes, y los autores presentan su esquema como un mapa y no como una clasificación definitiva.

La primera categoría es la fricción estratégica: introducir un esfuerzo cognitivo intencionado en los puntos críticos. Con el compromiso previo, la persona anota su propia evaluación antes de ver la recomendación del agente, lo que combate el sesgo de anclaje y deja un registro auditable. Las sondas de razonamiento son preguntas en momentos delicados, como «¿qué prueba os haría cambiar de opinión?». El bloqueo de acciones exige una verificación explícita antes de dar un paso relevante. Estas medidas cuentan con respaldo empírico: Buçinca y colaboradores demuestran que este tipo de intervenciones pueden reducir el exceso de confianza, aunque los usuarios valoren menos los sistemas que las aplican, algo que el propio artículo admite.

La segunda es el diseño de las decisiones: fijar de antemano lo que el agente puede hacer por sí solo (autonomía delimitada), solicitar la aprobación sobre bloques de trabajo coherentes presentados como diferencias respecto al estado anterior en lugar de una cascada de microconfirmaciones, y dejar las comprobaciones automáticas a las herramientas que no requieren juicio. Aquí reaparece el loop engineering: en mi artículo señalaba que un ciclo de verificación funciona cuando el criterio de éxito puede comprobarse de forma mecánica, como una batería de pruebas, y degenera en "aprobación alucinada" cuando la verificación la realiza otro agente sin una referencia sólida. Los filtros automáticos también tienen límites. En la publicación citada, Anthropic informa de que su clasificador bloquea por error el 0,4% de las acciones inofensivas sobre diez mil reales, pero deja pasar el 17% de 52 acciones reales demasiado emprendedoras, señalando que para quien ya revisa manualmente con esmero podría suponer un retroceso y que no sustituye una revisión humana minuciosa en infraestructuras de alto riesgo.

La tercera es medir la calidad de la supervisión y no solo la precisión del agente: seguir el tiempo de revisión que disminuye mientras la complejidad aumenta, las tasas de discrepancia que caen, las solicitudes de pruebas que desaparecen, la introducción de tareas de control con respuesta conocida en el flujo de trabajo y la realización de auditorías a posteriori que comparen los resúmenes del agente con los registros originales. El artículo advierte de que todo esto debe equilibrarse para evitar caer en la vigilancia laboral.

La cuarta se refiere a la organización: ejercicios periódicos sin IA para mantener las competencias clave, formación sobre la diferencia entre fluidez y corrección, pausas y rotaciones obligatorias, asignación de la supervisión exclusivamente a quienes poseen la competencia adecuada, separación entre los supervisores y los beneficiarios de la aprobación, e incentivos que no penalicen el escrúpulo.

Un criterio final, propio y no del artículo: conceder autonomía no en función de lo convincente que parezca el agente, sino preguntándose si la acción es reversible, si el daño se detectaría de inmediato, si quien aprueba domina la materia y dispone de tiempo para verificar, y si el sistema registra lo que ha hecho de forma auditable. Son normas de sentido común en ingeniería, no resultados experimentales.

Objeciones y preguntas abiertas

El artículo responde a tres objeciones. Primera: los efectos son exagerados y la gente se adaptará, igual que ocurrió con los motores de búsqueda. Los autores responden que un buscador devuelve documentos para ser evaluados, mientras que un agente ejecuta acciones para ser autorizadas, y que las capacidades de los agentes crecen más de prisa que la investigación sobre la adaptación cognitiva. No obstante, la adaptación sigue siendo posible y el artículo no la desmiente con un experimento, ya que no realiza ninguno. Segunda: bastará con mejores herramientas y más transparencia. Son necesarias, responden los autores, pero no suficientes, porque las explicaciones apelan a facultades cognitivas que el uso degrada y pueden ser erróneas o actuar como anclajes. Mi artículo sobre los Cíborgs incluye un ejemplo: un consultor pide a GPT-4 que valide su recomendación, obtiene una confirmación plausible y acepta una respuesta equivocada. Tercera: el alineamiento hará innecesaria la supervisión. Los autores replican que esto depende de capacidades futuras no demostradas y que entrenar los modelos según las preferencias humanas presupone que estas miden la calidad del control, cuando las personas tienden a preferir respuestas fluidas y complacientes.

Dos observaciones adicionales por mi parte. No toda delegación implica una pérdida: el tiempo liberado puede reinvertirse en análisis y aprendizaje, o convertirse en un mayor volumen de trabajo por persona, y con los datos disponibles no se puede afirmar qué resultado predomina. Además, el artículo no enfrenta a humanos y máquinas: su objeto de estudio es el sistema sociotécnico que los engloba, junto con las interfaces, los objetivos y los incentivos.

¿Qué muestra la práctica real? En el informe Currents de DigitalOcean de febrero de 2026, comentado en Los agentes de IA trabajan. Y las cuentas cuadran, solo el 10% de los encuestados tiene agentes completamente autónomos en producción, el 40% exige que una persona lo revise todo y el 58% señala los puntos de aprobación humana como su principal medida de control. La muestra, con unas 1.100 respuestas autodeclaradas de desarrolladores, responsables técnicos y fundadores, no representa a la totalidad del sector, pero sugiere que el aprobador humano es hoy la principal barrera de seguridad, precisamente el objetivo del position paper. El artículo observa que esta carga recae casi por completo en los usuarios. Si la firma sirve para prevenir errores o solo para dirimir responsabilidades a posteriori es algo que ni el artículo ni yo podemos responder: es una pregunta que cada organización debe plantear a sus propios procesos.

Los agentes de IA no nos están expulsando necesariamente del bucle, pero lo hacen cada vez que confundimos una firma con un control, un registro con una comprensión o una tasa de aprobación con la seguridad. No basta con construir agentes capaces de actuar: hacen falta organizaciones e interfaces que preserven nuestra capacidad para detenerlos, corregirlos y comprenderlos. En cada flujo de trabajo permanece una pregunta: ¿quién responde de la última decisión y de qué herramientas dispone para merecer esa responsabilidad?