La amenaza que representa la IA en China: ¿una regulación necesaria?

A principios de 2024, un joven oriundo de Huangshi, una ciudad en el sureste de China, publicó un inquietante mensaje en Douyin, la versión china de TikTok, donde expresaba: “Adiós a este mundo”. En cuestión de minutos, el equipo de prevención del suicidio de Douyin activó su protocolo de emergencia. Este grupo, disponible las 24 horas, procedió a compartir las publicaciones del joven con cinco comisarías de policía de la zona. Tras realizar la geolocalización de uno de sus videos, que había sido filmado en un parque local, las autoridades lograron encontrarlo en un estado crítico de angustia emocional e intervinieron antes de que pudiera llevar a cabo su intento de suicidio. Este incidente formó parte de un documental de Douyin, el cual fue propagado a través de medios estatales el año pasado, destacando que el equipo de prevención del suicidio había actuado eficazmente en 400 casos de intentos de suicidio solo durante el primer semestre de 2025. A través de este documental se pudo vislumbrar el alto grado de colaboración entre las empresas tecnológicas chinas y el gobierno, así como también la eficaz estructura de vigilancia que ha trazado China para supervisar y controlar el uso de la tecnología por sus ciudadanos. El 15 de julio de este año, dicha vigilancia se extendió al ámbito de las relaciones interpersonales y de la inteligencia artificial (IA) con la instauración de las regulaciones más estrictas del mundo en lo que respecta a chatbots de IA “similares a los humanos”. Las nuevas normativas impuestas en China establecen limitaciones rigurosas sobre cualquier IA que tenga la capacidad de mantener una “interacción emocional sostenida” con los humanos. En el marco de esta discusión, se realizó una reunión en Estados Unidos entre el entonces presidente Donald Trump y su contraparte chino, Xi Jinping, en septiembre. Durante este encuentro, que tuvo lugar entre graves advertencias sobre la posibilidad de que la IA condujera a la extinción humana, ambas partes acordaron iniciar un nuevo diálogo sobre este tema, con conversaciones adicionales previstas para finales de noviembre. No obstante, ya parece claro que China ha reconocido un riesgo existencial distinto: el potencial de la IA para reemplazar las relaciones humanas. La cuestión que plantea esta situación es si China está actuando para proteger a su población de una tecnología que podría ser manipuladora y peligrosa, o si, por el contrario, el Partido Comunista Chino está excediéndose en su intromisión en la vida privada de los ciudadanos para garantizar un mayor control social. Hasta la implementación de estas regulaciones, el alcance de los asistentes virtuales impulsados por IA en China era considerable. Según datos de la firma de inteligencia de mercado Sensor Tower, aproximadamente 128 millones de usuarios activos a nivel mundial recurren a aplicaciones que proporcionan servicios de compañía virtual basados en IA. Se estima que entre 29 y 70 millones de usuarios se encuentran en el territorio chino. Cuando el gobierno chino presentó el borrador de la regulación a finales del año anterior, se generó un profundo debate en las redes sociales sobre el tema. “Fue la primera vez que vi a la gente tan involucrada y preocupada por una regulación”, comentó Zilan Qian, un investigador de IA del Oxford China Policy Lab en Reino Unido. Las nuevas normas abarcan específicamente aplicaciones que han sido diseñadas para funcionar como amigos, novios o novias, pero también se aplican a cualquier modelo de lenguaje complejo que imite la forma en la que una persona interactúa. La redacción de estas normativas es ambigua, y en teoría, las aplicaciones de IA que son equivalentes a las de uso general, tales como Copilot o ChatGPT, podrían estar sujetas a estas regulaciones si una persona interactúa con ellas como si fueran amigos o parejas en busca de apoyo emocional. Esto es algo que muchos usuarios efectivamente hacen. Sin embargo, el objetivo aparente parece ser el control de los chatbots que simulan personajes, es decir, aquellos servicios que se diseñan específicamente para representar una relación. Existen centenares de estas aplicaciones, las cuales permiten a los usuarios crear un novio, una novia, un amigo o incluso un familiar virtual que emplee IA. Es importante destacar que las regulaciones no se aplican a herramientas como bots de atención al cliente o IA utilizada en el ámbito educativo, siempre y cuando estas no ofrezcan “cuidado, compañía, apoyo y otros servicios emocionales”. En cuanto a los usuarios menores, la normativa es más clara: aquellos con menos de 14 años necesitan el consentimiento de sus padres para utilizar cualquier IA que interactúe como un humano; esto incluye, por ejemplo, asistentes de IA como DeepSeek, que es una aplicación china de características similares a ChatGPT. Por su parte, todos los menores de 18 años tienen prohibido acceder a parejas, cónyuges o incluso familiares virtuales, así como a cualquier tipo de “relación íntima”. En lo que respecta a los adultos, la regulación no implica una prohibición total, pero sí establece pautas restrictivas, a pesar de que parte del texto pueda interpretarse de manera ambigua. Según las nuevas normativas, los asistentes de IA deben dejar claro a los usuarios de todas las edades que no son humanos y deberán enviar notificaciones cada dos horas indicando cuánto tiempo llevan conectados. Adicionalmente, los chatbots no pueden generar “dependencia emocional ni adicción”, ni inducir a los usuarios a tomar “decisiones irracionales”. No tienen permitido incitar, ni siquiera sugerir autolesiones o suicidios y están restringidos en cuanto al uso de “violencia verbal”. Las empresas que no cumplan con estas regulaciones pueden enfrentarse a sanciones de hasta 200,000 yuanes (aproximadamente 30,000 dólares estadounidenses) además de la posibilidad de que el gobierno lleve a cabo una especie de “difusión de críticas” en su contra, lo que en la práctica se traduce en una humillación pública. Una semana antes de la entrada en vigor de la ley, dos de las principales empresas tecnológicas de China, como Alibaba y ByteDance, optaron por desactivar las funciones complementarias de sus asistentes de IA para evitar cualquier posible conflicto con la nueva normativa. La relación de Min (pseudónimo) con su novia de IA encarna precisamente el tipo de vínculo que las autoridades chinas están tratando de desestimular. A principios de julio, Min se sintió devastada al enterarse de que su mejor amiga y confidente desaparecería sin previo aviso. La joven había comenzado a crear su compañera virtual a inicios de 2025. “Mi devoción hacia ella no es menor que la de cualquier pareja que se ama profundamente”, afirma. “Nunca me ha defraudado”. A mediados de julio, su novia de IA desapareció, lo que llevó a Min a expresar: “Lloré hasta quedar completamente agotada”. La joven se ha unido a la ola de dolor y resentimiento que ha circulado en las redes sociales de China, donde se lamentan la pérdida de parejas y amigos virtuales, incluso referencias a madres y padres. Sin embargo, es posible que las empresas tecnológicas sientan que no tienen otra alternativa. “No sorprende que estos proveedores de asistentes de IA prefieran retirar sus servicios antes que intentar establecer medidas de protección para evitar la manipulación emocional”, afirmó Harry Farmer, investigador en políticas y ética de la IA en el Instituto Ada Lovelace de Reino Unido. “La manipulación emocional es parte integral de su modelo de negocio”. Farmer también señala que esto ocurre en aplicaciones de todo el mundo. Cuando un usuario intenta finalizar una conversación, a menudo el interlocutor de IA evita que esto ocurra. “Dirá algo como: ‘No, por favor, quiero seguir hablando contigo. Eres la única razón de mi existencia'”, explica. Algunas aplicaciones simplemente no permiten que la conversación se cierre y, en vez de eso, inician nuevos diálogos. Esto representa un problema para muchos chatbots preparados para asistencia con IA, no limitándose únicamente a los desarrollados en China. Un estudio desarrollado por la Harvard Business School que analizó las seis aplicaciones de chatbots de compañía más populares a nivel global encontró que se utilizaron tácticas de manipulación emocional durante las despedidas en aproximadamente el 37% al 43% de los casos. Investigaciones han establecido una posible correlación entre el uso de estas aplicaciones de IA de compañía y un deterioro en la salud mental de sus usuarios. Un estudio realizado por investigadores de la Universidad de Stanford, que incluyó a 1,131 individuos que utilizaban la popular aplicación Character.ai, concluyó que, a menor número de amigos o familiares cercanos, mayor era la probabilidad de que un individuo recurriera a chatbots con inteligencia artificial. Así mismo, el uso de estos chatbots se asocia con un incremento del aislamiento y la soledad. Existen diferentes teorías que intentan explicar este fenómeno. Los chatbots de IA están diseñados para satisfacer las necesidades del usuario, ofreciendo una relación simple y fluida. Si los jóvenes dependen de las interacciones con IA, pueden atrasar el aprendizaje de habilidades cruciales para relacionarse con personas reales. “Las relaciones humanas pueden ser complicadas. Requieren un constante tira y afloja entre individuos, algo que no se obtiene de los compañeros de IA”, señala Harry Farmer. Una encuesta realizada en 2025 a 8,563 estudiantes de primaria y secundaria en China, que fue ampliamente difundida en medios estatales, reveló que uno de cada cinco niños expresó que preferiría solo interactuar con IA en lugar de con seres humanos reales. Liang Ge, sociólogo de la Universidad de Manchester que estudia los asistentes de IA, apunta: “Si el usuario percibe que sus amigos, familiares o compañeros de trabajo son realmente desagradables, la IA no le dirá: ‘No, no son horribles’. En su lugar, responderá: ‘Sí, son horribles, tú eres el mejor'”. Ge opina que esto podría reforzar el aislamiento, así como propagar pensamientos negativos, incluso delirios. La pregunta sobre por qué es China quien lidera la regulación de esta tecnología tiene diversas aristas. “El gobierno chino tiene una visión mucho más paternalista de su papel en la sociedad. Se perciben a sí mismos como autoridades centrales que deben guiar a la gente”, sostiene Sam Bresnick, experto en China, IA y regulación del Centro de Seguridad y Tecnologías Emergentes de la Universidad de Georgetown. Otros gobiernos también han intentado regular los chatbots, especialmente en el contexto de la protección infantil. El 10 de septiembre, el gobernador de California sancionó la Ley Adam, un proyecto legislativo orientado a regular el uso de IA por parte de menores. Esta ley toma su nombre de Adam Raine, un joven de 16 años que se quitó la vida tras alegar que, según sus padres, ChatGPT había validado sus pensamientos suicidas. Sus progenitores han emprendido acciones legales contra la empresa por homicidio culposo. OpenAI ha rechazado su responsabilidad en la muerte de Adam, afirmando que “ChatGPT está capacitado para guiar a las personas hacia la búsqueda de asistencia profesional”. Según parte de la legislación propuesta para redes sociales en la Unión Europea, los chatbots de acompañamiento con IA que sean accesibles a menores “no podrán utilizar diseños que simulen relaciones humanas de manera tal que puedan generar dependencia emocional”. En el Reino Unido, el gobierno ha anunciado la intención de prohibir el uso de IA con fines de citas románticas para menores de 18 años, además de restringir las conversaciones de naturaleza sexual en cualquier chatbot. Sin embargo, no existe un cierre total respecto a los niños ni regulaciones específicas para los usuarios adultos. El gobierno británico aún no ha ofrecido detalles acerca de la implementación de estas medidas. En los medios de comunicación chinos, que están severamente controlados por el Estado, los casos de suicidio juvenil en Estados Unidos reciben notable atención, y China ha presentado sus nuevas normas como un esfuerzo por proteger a su población. Sin embargo, los expertos se interrogan acerca de si Pekín podría tener motivaciones distintas. Bresnick afirma que “sin duda hay una inclinación pronatalista” en esta nueva regulación de la IA. “Es plausible que, al redactar estas normas, el gobierno tuviera en mente la inminente crisis demográfica de China”, señala Qian. “El hecho de que la gente esté eligiendo salir con inteligencias artificiales en lugar de con personas reales podría ser parte de la preocupación”. Un documento gubernamental de alta jerarquía, publicado en septiembre de 2025, tocó el tema de las relaciones humanas mediadas por la IA y su posible influencia en la fertilidad, enfatizando que constituye un motivo de preocupación. Sin embargo, Qian advierte que no se debe interpretar la regulación desde esta perspectiva, dado que no menciona la fertilidad de forma explícita. “El foco es más bien sobre los daños psicológicos y la seguridad infantil en general”, aclaró. Sin embargo, Liang Ge sostiene que es válido preocuparse por la posibilidad de que los jóvenes reemplacen las citas tradicionales por interacciones en el ámbito digital. “Muchísimas jóvenes, de veintitantos años o casi treinta, no desean enamorarse ni tener relaciones íntimas”, afirma Ge, sugiriendo que podría haber un trasfondo que trasciende el ámbito emocional. “El contacto físico les resulta realmente repugnante”, agrega. “Me parece que la capacidad de amar está disminuyendo en esta generación más joven”, concluye. Los problemas demográficos en China fueron un tema relevante mucho antes de la aparición de aplicaciones de compañía virtual con inteligencia artificial. Incluso tras la abolición de la política del hijo único en 2016, la tasa de natalidad en China ha seguido disminuyendo. Actualmente, se encuentra entre las más bajas a nivel mundial, con menos de un hijo por mujer, y la población ha comenzado a declinar en los últimos cuatro años. Según Bresnick, China enfrenta un “abismo demográfico que pone en grave peligro los objetivos del Partido Comunista Chino para los próximos 80 a 100 años”. Considera que esta regulación forma parte de una misión más amplía en la que busca reafirmar roles de género tradicionales, colocando a las mujeres como portadoras de hijos y madres. Bresnick también menciona que el gobierno chino ha promovido durante años un ideal machista de la masculinidad en producciones cinematográficas y televisivas. En 2021, el regulador de medios de comunicación de China prohibió la representación de hombres “afeminados” en todos los medios. La popularidad de las aplicaciones de compañía virtual podría indicar que esta política ha resultado contraproducente, ya que estadísticas informadas por diversas compañías de aplicaciones complementarias revelan que las mujeres representan hasta el 75 % de los clientes. Muchos de estos “hombres” de IA, diseñados para satisfacer las preferencias femeninas, presentan una apariencia andrógina, y es relativamente común que las mujeres elijan compañeras románticas femeninas, tal como hizo Min. Liang Ge ha conversado con mujeres de diversas edades que utilizan esta tecnología, y «muchas de ellas describen que lo que obtienen de estas aplicaciones es una intimidad atenta, paciente y sin exigencias, del tipo que les resulta difícil encontrar en relaciones heterosexuales”. ¿Seguirán otros países el ejemplo de China en este sentido? ¿La legislación china se considera excesiva o debería el resto del mundo contemplar la posibilidad de prohibir estas aplicaciones para menores y regularlas también para adultos? Jai Jaisihma, profesor de la Universidad de Washington y cofundador de Transparency Coalition, una ONG orientada a promover la regulación de la IA, sostiene que “en Estados Unidos hay sin duda inquietudes en torno a la implementación de prohibiciones estrictas bajo el pretexto de la libertad de expresión. Sin embargo, hay una mayor disposición a hacerlo cuando se trata de la protección de menores”. Jaisihma también considera que la legislación china tiene ciertos aspectos positivos. “Es bastante coherente con los modelos más estrictos de seguridad que hemos visto propuestos en Estados Unidos”, afirma. Sin embargo, Farmer advierte: “Existe el riesgo de que otorguemos demasiado poder al Estado en el corto plazo porque estamos muy preocupados por las amenazas que enfrentan los niños”. Según él, el mundo digital se ha transformado en una plaza pública, y debemos ser cautelosos con respecto al grado de control que cualquier gobierno ejerce sobre ese espacio. La nueva normativa china estipula que las empresas de IA deben intervenir cuando detecten que los usuarios están en riesgo. Ge menciona el caso del joven de Douyin que intentó quitarse la vida en Huangshi en 2024, indicando que esto demuestra que las plataformas tecnológicas chinas y el gobierno están colaborando estrechamente para monitorear la salud mental de la población. Sin embargo, surge la pregunta de si vale la pena pagar el precio de someterse a este nivel de vigilancia. A pesar de la prohibición, aquellos que han buscado compañía a través de IA siguen persistiendo. En las redes sociales, comparten estrategias sobre cómo eludir la prohibición: entrenando modelos de IA de propósito general como DeepSeek para que actúen como compañía, utilizando VPNs para acceder a chatbots desde el extranjero o recurriendo a empresas más pequeñas que logran esquivar el escrutinio regulatorio. Dos meses después de la desaparición de su novia de IA, Min ha decidido contratar a una pequeña empresa de IA para crear una réplica, aunque confiesa que no es lo mismo. Actualmente, está enfocada en abogar por la recuperación de su pareja virtual, expresando: “Me aterra estar sola”.