“Las chicas más calientes”, “adolescentes creadas con IA”, “modelos pequeñas”. Así se anuncian en TikTok hasta 20 cuentas que utilizan inteligencia artificial para generar vídeos sexualizados de niñas y adolescentes. Los vídeos reciben decenas de comentarios con insinuaciones sexuales, muchos de ellos publicados por usuarios que aparentan ser adultos. En algunos casos, esos mismos comentarios promocionan canales de Telegram donde se vende pornografía infantil de menores reales.

Estos perfiles obtienen ingresos dentro y fuera de la plataforma. Varias de estas cuentas redirigen desde sus biografías o mediante mensajes privados a webs donde se venden vídeos e imágenes sexuales de menores creados con IA. Además, seis de los 20 perfiles analizados utilizan el sistema de suscripción de TikTok, con un precio medio de 3,87 euros. Tras las comisiones de Apple o Google, la plataforma se queda con el 50% restante, según su propia información. Aunque las menores de los vídeos no existen, expertos consultados por Maldita.es señalan que este tipo de contenidos se considera legalmente pornografía infantil.

El marco legal de las redes sociales lo marca la Ley de Servicios Digitales (DSA), una normativa europea que establece que las plataformas, como TikTok, están obligadas a retirar un contenido cuando tienen “conocimiento efectivo” de que es ilegal, explica a Maldita.es Rahul Uttamchandani, abogado especializado en tecnología y privacidad. Respecto a las ganancias, tanto de los usuarios como de la plataforma, Marcos Judel, abogado especializado en protección de datos, IA y derecho digital recalca que “bajo la DSA, monetizar contenido que vulnera derechos fundamentales de menores es incompatible con las obligaciones de seguridad desde el diseño”.

Además, TikTok tiene una obligación legal bajo esta normativa de mitigar los riesgos que surgen de su plataforma, particularmente aquellos que afectan “los derechos del niño” o que tienen efectos negativos sobre “la protección de los menores”. Precisamente esos son los efectos sobre los que advierten los expertos. La psicóloga Mamen Bueno afirma que este tipo de contenido generado con IA puede “reforzar patrones de consumo en personas con intereses dañinos hacia menores”.

Las normas de TikTok prohíben las cuentas centradas en imágenes de jóvenes creadas con IA con poses o expresiones sexualizadas, así como representaciones fetichizadas o victimizantes. Aun así, Maldita.es denunció 15 de estos perfiles a través de los canales oficiales de la plataforma. Setenta y dos horas después, todas las cuentas seguían accesibles. En la mayoría de los casos, TikTok concluyó que no existía infracción de sus políticas.

Puedes leer la investigación completa de Maldita.es en este artículo.