Cuando los sistemas de IA pueden controlar múltiples fuentes simultáneamente, el potencial de daño se dispara. Necesitamos mantener a los humanos en el proceso.
Los agentes de IA han causado revuelo en la industria tecnológica. A diferencia de los chatbots, estos innovadores sistemas operan fuera de una ventana de chat, navegando por múltiples aplicaciones para ejecutar tareas complejas, como programar reuniones o comprar en línea, en respuesta a simples comandos del usuario. A medida que los agentes se desarrollan para volverse más capaces, surge una pregunta crucial: ¿Cuánto control estamos dispuestos a ceder y a qué costo?
Nuevos marcos y funcionalidades para agentes de IA se anuncian casi semanalmente, y las empresas promocionan la tecnología como una forma de hacer nuestras vidas más fáciles al completar tareas que no podemos o no queremos hacer. Ejemplos destacados incluyen "computer use", una función que permite al sistema Claude de Anthropic actuar directamente en la pantalla de tu computadora, y el "agente de IA general" Manus, que puede usar herramientas en línea para diversas tareas, como buscar clientes o planificar viajes.
Estos avances marcan un hito en la inteligencia artificial: sistemas diseñados para operar en el mundo digital sin supervisión humana directa.
La promesa es tentadora. ¿Quién no quiere ayuda con trabajos tediosos o tareas para las que no hay tiempo? La asistencia de agentes podría tomar muchas formas, como recordarte que preguntes a un colega sobre el torneo de baloncesto de su hijo o encontrar imágenes para tu próxima presentación. En pocas semanas, probablemente podrán hacer presentaciones por ti.
También existe un claro potencial para mejorar significativamente la vida de las personas. Para quienes tienen problemas de movilidad en las manos o baja visión, los agentes podrían completar tareas en línea en respuesta a simples comandos de voz. Los agentes también podrían coordinar asistencia simultánea a grandes grupos en situaciones críticas, como redirigir el tráfico para ayudar a los conductores a evacuar rápidamente una zona en caso de desastre.
Sin embargo, esta visión de los agentes de IA conlleva riesgos significativos que podrían pasarse por alto en la prisa por alcanzar una mayor autonomía. Nuestro equipo de investigación en Hugging Face ha pasado años implementando e investigando estos sistemas, y nuestros hallazgos recientes sugieren que el desarrollo de agentes podría estar al borde de un error muy serio.
Cediendo el control, poco a poco
Este problema central está en el núcleo de lo más emocionante de los agentes de IA: cuanto más autónomo es un sistema de IA, más control humano cedemos. Los agentes de IA se desarrollan para ser flexibles y capaces de completar una amplia variedad de tareas sin necesidad de programación directa.
Para muchos sistemas, esta flexibilidad es posible porque están construidos sobre modelos de lenguaje a gran escala, que son impredecibles y propensos a errores significativos (y a veces cómicos). Cuando un modelo de lenguaje genera texto en una interfaz de chat, cualquier error queda confinado a esa conversación. Pero cuando un sistema puede actuar de forma independiente y con acceso a múltiples aplicaciones, podría realizar acciones no intencionadas, como manipular archivos, suplantar usuarios o realizar transacciones no autorizadas. La característica que se vende—la reducción de la supervisión humana—es la vulnerabilidad principal.
Para comprender mejor el equilibrio entre riesgo y beneficio, es útil caracterizar los sistemas de agentes de IA en un espectro de autonomía. El nivel más bajo consiste en procesadores simples que no afectan el flujo del programa, como los chatbots que te saludan en una página web. El nivel más alto, los agentes completamente autónomos, pueden escribir y ejecutar código sin restricciones u supervisión humana; pueden tomar acciones (mover archivos, cambiar registros, comunicarse por correo electrónico, etc.) sin que se les pida nada. Los niveles intermedios incluyen routers, que deciden qué pasos humanos seguir; tool callers, que ejecutan funciones escritas por humanos utilizando herramientas sugeridas por el agente; y agentes de múltiples pasos que determinan qué funciones hacer, cuándo y cómo. Cada uno representa una eliminación incremental del control humano.
Traducido y adaptado al español: technologyreview