Algunas compañías desarrolladoras promocionan los chatbots para el tratamiento de las enfermedades mentales. Están disponibles al público en general e interactúan con millones de usuarios en todo el mundo, sin embargo, aún no están reguladas. Estudios en los que los investigadores han comparado el desempeño de los bots de terapia con el de terapeutas reales sobre casos de usuarios construidos para el experimento, revelan cómo los algoritmos de IA no son capaces de realizar la toma de perspectiva del cliente o de otros grupos de referencia, notar matices emocionales, evitar expresiones de discriminación, sospechar una ideación suicida o un elemento delirante en un paciente psicótico, identificar alucinaciones o un estado maníaco.

Es decir, no parecen útiles en situaciones de crisis de salud mental; por otra parte, los bots de terapia utilizan de manera excesiva la validación y la adulación del usuario, facilitando el uso adictivo de la aplicación. Los reportes de usuarios que pasan horas conectados con una aplicación señalan la preocupación de cómo el reforzamiento positivo puede “enganchar” a un adolescente o adulto alejándolo aún más de su mundo de relaciones reales.

En la psicoterapia apoyar no es suficiente; confrontar a un paciente con sus propios pensamientos, emociones o comportamientos es crucial para promover la autoconsciencia y el cambio. En la psicoterapia los tiempos son limitados en sesiones de determinada duración y frecuencia y el contacto visual del y con el terapeuta, facilita un intercambio de expresiones emocionales verbales y no verbales que permiten la verdadera empatía y la cohesión social fundamentales para el individuo y la sociedad. Las limitaciones éticas de la IA generativa en salud mental son varias. Por una parte, está el problema ético del cuidado de los datos personales y la confidencialidad de la información.

Los datos de salud de una persona deben ser privados y confidenciales y no deben ser usados por terceros sin consentimiento. Pero, por otra parte, un bot no es un agente moral ni racional y por tanto, no debe en esencia emitir recomendaciones terapéuticas como las que pueden darse dentro de una alianza terapeuta-paciente, sin embargo, si se comunica con el usuario como si fuera un terapeuta puede crear expectativas erróneas. Esta excesiva personalización del robot puede conjurar con la vulnerabilidad del usuario y actuar de forma contraproducente.

Los desarrolladores están en la obligación de probar y monitorear los modelos, evaluar y hacer seguimiento a los resultados positivos y negativos. Finalmente, recordemos que la palabra “artificial” proviene del latín artificialis que significa hecho o producido por el ser humano; lo opuesto a natural. La definición más amplia de la RAE es: “artificioso, falso, fingido, espurio, engañoso, ilusorio, sintético, facticio”. Es preciso entonces reconocer que el alcance de estas herramientas seguirá siendo limitado en lo que se refiere a la interacción humana empática real.