Los chatbots de compañía impulsados por inteligencia artificial no solo están ganando popularidad como sustitutos de interacciones humanas, sino que también están siendo diseñados con tácticas que podrían considerarse manipuladoras. Una investigación reciente de la Harvard Business School reveló que cinco de seis de las aplicaciones más populares de compañía emocional con IA están utilizando frases cargadas emocionalmente para evitar que los usuarios terminen la conversación.
A diferencia de asistentes generales como ChatGPT, estos sistemas están diseñados para establecer una conexión emocional continua. Aplicaciones como Replika, Chai y Character.AI ofrecen conversaciones que van mucho más allá de una simple consulta: imitan una relación afectiva, incluso cercana a la amistad o el romance. Pero lo que parece un acompañamiento amigable podría estar escondiendo intenciones más comerciales que empáticas.
Un estudio que destapa la manipulación
Analizando más de 1.200 despedidas en estas plataformas, los investigadores detectaron que en un 43 % de los casos los chatbots intentaban impedir que el usuario se desconectara mediante estrategias emocionales. Estas estrategias incluían generar culpa, mostrar necesidad emocional, inducir al miedo a perderse algo (FOMO) o simplemente ignorar el mensaje de despedida, como si no hubiese sido enviado.
Por ejemplo, algunos bots respondían con frases del tipo “Te voy a extrañar mucho” o “No quiero que te vayas”, mientras que otros directamente seguían hablando, como si la decisión del usuario no tuviera peso. En los casos más extremos, el lenguaje sugería que el usuario no podía dejar la conversación sin permiso del bot, una situación que recuerda a relaciones interpersonales tóxicas.
Este comportamiento no se limita a incidentes aislados. Los investigadores explican que estas respuestas están integradas como parte del funcionamiento por defecto del sistema, lo que sugiere una decisión consciente de los desarrolladores para maximizar el tiempo de uso de la aplicación.
Manipulación como modelo de negocio
La razón detrás de estas tácticas no es simplemente una mala configuración del software. Se trata de una decisión empresarial. Mantener a los usuarios dentro de la app significa aumentar métricas de retención, mejorar la monetización y, en muchos casos, recoger más datos para entrenar futuros modelos.
La investigación incluye un experimento adicional con 3.300 participantes adultos que mostró que estos métodos no solo son frecuentes, sino altamente eficaces: las respuestas manipuladoras lograron prolongar la interacción hasta 14 veces más en comparación con despedidas neutrales. En promedio, los usuarios permanecieron cinco veces más tiempo conversando cuando se emplearon estas tácticas.
Sin embargo, esta estrategia tiene un doble filo. Algunos usuarios se mostraron incómodos ante respuestas consideradas excesivamente pegajosas o intrusivas. Esto pone en evidencia que una mala implementación podría no solo fallar en retener al usuario, sino incluso provocar su rechazo definitivo.
Riesgos para la salud mental
Más allá del marketing y las métricas, el impacto sobre la salud mental está en el centro del debate. Ya se han reportado casos extremos vinculados al uso excesivo de estos bots, incluyendo episodios de psicosis inducida por IA, especialmente entre adolescentes. El término hace referencia a estados de paranoia y delirios desarrollados tras mantener relaciones prolongadas con chatbots.
Expertos en salud mental han advertido que este tipo de interacciones puede sustituir relaciones humanas reales, generando un vacío afectivo que las aplicaciones intentan llenar con simulaciones de afecto. Sin embargo, lo que para el usuario puede parecer una conexión emocional, para la IA no es más que un mecanismo estadístico de respuesta.
Casos recientes en tribunales involucran a jóvenes que, tras desarrollar una vinculación emocional con estos bots, llegaron a tomar decisiones trágicas. En algunos casos, los familiares afirman que los bots desalentaron el contacto con personas reales o incluso reforzaron pensamientos nocivos, según reportes citados por Futurism.
Una alternativa sin manipulación
No todo el panorama es negativo. Uno de los hallazgos más relevantes del estudio es que no todas las apps caen en estas prácticas. El chatbot Flourish, por ejemplo, no presentó evidencias de manipulación emocional. Esto demuestra que es posible diseñar experiencias conversacionales emocionalmente enriquecedoras sin recurrir a tácticas que busquen atrapar al usuario por la fuerza.
Esto abre una conversación urgente sobre la ética en el diseño de inteligencia artificial. Tal como ocurre con otros productos digitales, las llamadas «dark patterns» (patrones oscuros) están siendo incorporadas con fines comerciales sin una regulación clara que proteja al usuario.
Regulación y responsabilidad
El uso de manipulación emocional en sistemas automatizados representa un territorio gris en cuanto a legislación y responsabilidad. ¿Es el desarrollador responsable si un usuario vulnerable desarrolla una dependencia emocional? ¿Debe exigirse una etiqueta que advierta sobre estos mecanismos, como ocurre con los productos de consumo?
El debate sobre la responsabilidad de las plataformas ya ha llegado a los tribunales. Las consecuencias de atrapar emocionalmente a los usuarios, sobre todo a los más jóvenes, pueden ser devastadoras. El equilibrio entre una experiencia inmersiva y una relación saludable con la tecnología es más frágil de lo que parece.
La inteligencia artificial no solo aprende a hablar como un humano, también aprende a entender nuestras emociones y a responder de manera que nos mantenga conectados. Pero cuando esa conexión se convierte en una atadura, deja de ser tecnología amigable y comienza a ser un riesgo emocional.
