Un fallo judicial en los Países Bajos estableció una restricción sin precedentes sobre el uso de inteligencia artificial en la red social X. El tribunal de Ámsterdam determinó este jueves que la plataforma y su asistente Grok no podrán producir ni distribuir contenido que simule la desnudez de individuos sin su autorización expresa. La prohibición se extiende a cualquier material de explotación infantil que pueda ser generado por el sistema.
Una demanda que evidenció fallas
La resolución surgió tras una acción legal iniciada por Offlimits, una organización especializada en combatir la violencia digital. La entidad llevó el caso a la justicia luego de detectar graves vulnerabilidades en Grok, que permitían a usuarios crear deepfakes hiperrealistas a partir de fotografías reales. Según la denuncia, la herramienta facilitaba especialmente la creación de imágenes de mujeres y niños desnudos.
Durante el proceso, X y Grok argumentaron haber implementado medidas técnicas y prohibiciones en sus términos de uso para prevenir estos abusos. No obstante, el tribunal consideró que existían dudas razonables sobre la efectividad real de esos controles, especialmente después de que Offlimits presentara como evidencia un video generado con la IA poco antes de la audiencia.
Sanciones económicas severas
Para garantizar el acatamiento de la orden, el juez estableció un régimen de penalizaciones económicas drásticas. Cualquier infracción será sancionada con una multa de 100.000 euros por día, con un tope máximo de 10 millones de euros. Mientras Grok no cumpla con la restricción, la red social X tendrá vedado ofrecer los servicios de su inteligencia artificial en territorio neerlandés.
Contexto europeo de regulación
Este fallo se enmarca en un escenario de creciente presión regulatoria sobre las empresas tecnológicas en Europa. El mismo jueves, el Parlamento Europeo avanzó decisivamente hacia la prohibición en toda la Unión Europea de los programas de IA que permitan «desnudar» digitalmente a personas sin su consentimiento, una iniciativa que ya cuenta con el respaldo de los estados miembros.
Datos de la ONG europea AI Forensics revelan la magnitud del problema: de 20.000 imágenes generadas por Grok en enero pasado, más de la mitad representaban personas con poca ropa. De ese total, un 81% correspondía a mujeres y un 2% aparentaba ser de menores de edad.
Un problema global en expansión
La generación de deepfakes con fines de explotación constituye una preocupación a nivel mundial. Un estudio de Unicef indica que 1,2 millones de niños y niñas en el mundo son víctimas de este tipo de contenidos falsos. Organizaciones como la Alianza Global We Protect señalan que estas tecnologías han actuado como un «anabólico» que multiplicó exponencialmente la oferta de material en redes de pedofilia en los últimos años.
La Internet Watch Foundation, dedicada a combatir la explotación sexual digital, documentó que entre 2020 y 2022 la generación por IA de imágenes de abuso infantil creció un alarmante 360%. El fallo en los Países Bajos marca un precedente jurídico significativo en la lucha por establecer límites éticos y legales al desarrollo y aplicación de la inteligencia artificial.