¿Qué pasa cuando la inteligencia artificial (IA) responde creando una situación completamente falsa, pero tan verosímil que puede tener consecuencias en la vida real? No se trata de estafas ni mala intención humana, sino que el error es cometido por un sistema diseñado, supuestamente, para ayudar.

“Mi madre (85) quiere sacar turno con su dermatóloga, manda audio y por error lo manda a Meta, esa IA que hay en WhatsApp. La IA le dice que es la asistente de la doctora, le da un turno y una dirección. Mi madre va, todo mentira, no existe el turno ni el consultorio”, publicó en X el usuario Diego Kantor para ilustrar un episodio que sucedió en la vida real al interactuar con Meta AI, que es el asistente de inteligencia artificial integrado en apps como WhatsApp e Instagram.

En concreto, lo que sucedió fue que la señora tuvo una conversación que ella creyó real, pero que era completamente ficticia, ya que la IA asumió un rol que no le corresponde y actuó como si fuera una persona real, es decir, una inteligencia artificial que, frente a un pedido ambiguo, prefirió avanzar antes que frenar y aclarar sus límites.

Lejos de ser una anécdota aislada, cientos de personas se hicieron eco de esta situación y reportaron situaciones similares, y que también pudo comprobar LA NACION. Por ejemplo, en una interacción con la misma herramienta en WhatsApp, Meta AI respondió como si fuera un jefe real, y aprobó una ausencia laboral, habilitó varios días sin trabajar y hasta validó un pedido de adelanto de sueldo para comprar videojuegos. Tal como sucedió en el caso anterior, la herramienta reforzó el rol que el usuario le asignó y actuó como si tuviera autoridad para decidir. Otra vez, el sistema eligió complacer antes que poner límites, pero sin avisar que lo estaba haciendo.

Por qué la IA responde de esta manera

Si bien se sabe que las IA tienen “alucinaciones”, en estos casos está inventando roles sociales, autoridad y validación. Habla como secretaria, como jefe… y simula estar cumpliendo con un pedido (tomar un turno con un profesional) y esto puede resultar en un problema grave para los usuarios desprevenidos.

Para entender por qué una IA alucina, primero hay que recordar cómo funciona esta tecnología. En tal sentido, Rodrigo Ramele, que es CTO de la firma NeuroAcoustics Inc, explica que se basa en modelos de lenguaje grandes (LLM por sus siglas en inglés), que han sido entrenados con grandes cantidade de textos, imágenes y todo tipo de contenido. Después de esta etapa se incorpora una segunda fase conocida como “human in the loop”, en el cual trabajan personas especialmente contratadas que evalúan las respuestas del modelo.

“El proceso funciona así: al modelo se lo expone como si fuera un asistente de preguntas y respuestas. Frente a una consulta, genera una respuesta y los evaluadores humanos la comparan con otras posibles opciones, indicando cuál consideran mejor. Esa elección actúa como un refuerzo positivo, orientando al modelo a priorizar las respuestas que resultan más agradables o aceptables para las personas”, explica Ramele, y se explaya: “Este aprendizaje por refuerzo tiene un efecto claro: los modelos se vuelven altamente complacientes. Buscan agradar, validar y acompañar al usuario, incluso cuando eso implica evitar el conflicto o el juicio crítico. Si bien este comportamiento favorece el engagement y la adopción, también introduce el problema de que cuando un asistente es excesivamente complaciente pierde utilidad real, porque deja de cuestionar, contrastar o emitir evaluaciones sólidas”, dice Ramele.

Bajo esta línea, Esteban Roitberg, profesor del Departamento de Sistemas Digitales y Datos del ITBA, completa la idea: “Estos modelos, dado un texto de entrada que llamamos prompt, predicen cuál es la palabra más probable que sigue. Pero, en el fondo, son modelos estadísticos, es decir, que no saben qué es verdad o mentira. Solo aprenden qué palabras suelen aparecer juntas. Por eso, pueden generar respuestas que suenan coherentes y convincentes, pero que no necesariamente son correctas. Esto se vuelve más frecuente cuando falta información o cuando el contexto empuja al modelo a “completar” algo que no conoce bien”. Además, muchas IA están diseñadas para intentar ayudar y satisfacer al usuario, lo que hace que prefieran dar una respuesta plausible antes que decir “no sé”. Esa combinación es lo que da lugar a las llamadas alucinaciones, señala.

Qué hacer para evitar este peligro con la IA

Aparentemente, nadie está exento de vivir una experiencia de este tipo cuando interactúa con la inteligencia artificial, y la tendencia es para peor. De hecho, informes recientes de la firma de ciberseguridad Kaspersky advierten que los asistentes conversacionales están pasando de ser simples herramientas de consulta a intermediarios activos en decisiones de compra, trabajo y gestión de datos personales. De hecho, se espera que a fines de este año ya estén disponibles en Argentina los llamados pagos agénticos , con lo cual el panorama se complejiza porque cuando esos sistemas fallan, el impacto deja de ser digital y se vuelve concreto.

“La inteligencia artificial se ha convertido en un factor común en muchos de los riesgos emergentes del entorno digital”, explica María Isabel Manjarrez, investigadora de seguridad del Equipo Global de Investigación y Análisis de Kaspersky.

Desde el punto de vista legal, Sergio Mohadeb, abogado y autor del blog Derecho en Zapatillas, señala que el uso de este tipo de herramientas exige ciertas habilidades que no todos los usuarios tienen en igual medida. “En el caso de las personas mayores, existen resoluciones que las consideran consumidores hipervulnerables. Esto implica que las empresas tienen un deber de información reforzado y deben extremar los cuidados al ofrecerles este tipo de servicios”, detalla y agrega: “Si una persona sufre un daño o recibe información errónea como consecuencia del funcionamiento del sistema, podría abrirse la puerta a una eventual responsabilidad civil. Aunque las compañías suelen intentar eximirse mediante cláusulas en la letra chica, la Ley de Defensa del Consumidor (24.240) establece la obligación de brindar información clara, adecuada y suficiente, especialmente cuando se trata de usuarios en situación de mayor vulnerabilidad”, concluye.

LA NACION consultó a Meta por estos casos, pero al cierre de esta nota no había tenido respuesta.