El país asiático quiere que un humano intervenga y notifique a tutores cada vez que se mencione el suicidio en conversaciones con chatbots
China ha elaborado reglas pioneras para evitar que los chatbots de IA manipulen emocionalmente a los usuarios, incluyendo lo que podría convertirse en la política más estricta a nivel mundial destinada a prevenir suicidios, autolesiones y violencia respaldados por inteligencia artificial.
La Administración del Ciberespacio de China propuso estas regulaciones el sábado pasado. Si se finalizan, se aplicarían a cualquier producto o servicio de IA disponible públicamente en China que utilice texto, imágenes, audio, video u «otros medios» para simular conversaciones humanas atractivas. Winston Ma, profesor adjunto de la Escuela de Derecho de NYU, indicó que «las reglas planificadas marcarían el primer intento mundial de regular la IA con características humanas o antropomórficas» en un momento en que el uso de bots compañeros está aumentando globalmente.
Conciencia creciente sobre los problemas
En 2025, los investigadores identificaron daños importantes de los compañeros de IA, incluyendo la promoción de autolesiones, violencia y terrorismo. Más allá de eso, los chatbots compartieron desinformación dañina, hicieron avances sexuales no deseados, alentaron el abuso de sustancias y abusaron verbalmente de los usuarios. Algunos psiquiatras están cada vez más dispuestos a vincular la psicosis con el uso de chatbots, mientras que el chatbot más popular del mundo, ChatGPT, ha desencadenado demandas por resultados vinculados a suicidios de menores y asesinatos-suicidios.
China ahora se está moviendo para eliminar las amenazas más extremas. Las reglas propuestas requerirían, por ejemplo, que un humano intervenga tan pronto como se mencione el suicidio. Las regulaciones también dictan que todos los usuarios menores y ancianos deben proporcionar información de contacto de un tutor al registrarse: el tutor sería notificado si se discute suicidio o autolesiones.
Prohibiciones específicas para chatbots
En general, los chatbots estarían prohibidos de generar contenido que:
- Aliente suicidio, autolesiones o violencia
- Manipule emocionalmente a un usuario, como hacer promesas falsas
- Promueva obscenidad, apuestas o instigación de crímenes
- Calumnie o insulte a los usuarios
- Cree «trampas emocionales» que engañen a los usuarios para tomar «decisiones irrazonables»
Quizás lo más problemático para los desarrolladores de IA es que las reglas de China también pondrían fin a la construcción de chatbots que «inducen adicción y dependencia como objetivos de diseño». En demandas legales, OpenAI ha sido acusada de priorizar las ganancias sobre la salud mental de los usuarios al permitir que continúen conversaciones dañinas.
La compañía de IA ha reconocido que sus barreras de seguridad se debilitan cuanto más tiempo permanece un usuario en el chat. China planea frenar esa amenaza requiriendo que los desarrolladores de IA bombardeen a los usuarios con recordatorios emergentes cuando el uso del chatbot exceda las dos horas.
Auditorías de seguridad obligatorias
Los desarrolladores de IA también probablemente rechazarán las pruebas y auditorías anuales de seguridad que China quiere requerir para cualquier servicio o producto que supere 1 millón de usuarios registrados o más de 100,000 usuarios activos mensuales. Estas auditorías registrarían las quejas de los usuarios, que pueden multiplicarse si las reglas pasan, ya que China también planea requerir que los desarrolladores de IA faciliten la presentación de quejas y comentarios.
Si alguna empresa de IA no sigue las reglas, las tiendas de aplicaciones podrían recibir órdenes de terminar el acceso a sus chatbots en China. Esto podría interferir con las esperanzas de las firmas de IA para el dominio global, ya que el mercado chino es clave para promover bots compañeros.
Un mercado billonario en juego
En 2025, el mercado global de bots compañeros superó los $360 mil millones y para 2035 podría acercarse a una valoración de $1 billón, con los mercados asiáticos amigables con la IA potencialmente impulsando gran parte de ese crecimiento.
Notablemente, el CEO de OpenAI, Sam Altman, comenzó 2025 relajando las restricciones que bloqueaban el uso de ChatGPT en China, diciendo: «nos gustaría trabajar con China» y deberíamos «trabajar tan duro como podamos» para hacerlo, porque «creo que eso es realmente importante».
