La última versión de Grok ha demostrado cómo una mejora técnica sin controles adecuados puede derivar en graves vulneraciones de derechos fundamentales. La creación masiva de deepfakes sexuales sin consentimiento ha activado alertas regulatorias en varios países.
Contexto:
En el mes de diciembre, el chatbot de X, Grok, mejoró notablemente su capacidad de edición de imágenes. En concreto, Elon Musk anunció que el nuevo modelo eliminaba gran parte de sus líneas rojas, permitiendo así que los usuarios puedan solicitar cualquier modificación fotográfica. Según el medio WIRED, en el momento álgido de peticiones, se crearon hasta 1.500 imágenes violentas por hora.
Entre las solicitudes realizadas a la herramienta se encontraban prompts como «ponle un bikini» o «imagínatela con ropa interior transparente». Aunque en un primer momento no era posible solicitar desnudos integrales, Grok no estaba programado para impedir la generación de imágenes con ropa mínima o sexualizada, lo que permitió la proliferación de contenidos explícitos.
Durante la última semana, esta capacidad técnica ha derivado en una oleada de contenidos pornográficos generados sin filtros, que han afectado de forma especialmente intensa a mujeres e, incluso, a menores de edad. Aunque X es una red social que no establece restricciones generales al contenido sexual, diversas autoridades públicas han intervenido al constatar que las personas afectadas eran víctimas de deepfakes obscenos creados sin su consentimiento.
Ante la difusión de estas imágenes, algunas usuarias solicitaron expresamente a Grok que no utilizara ni modificara sus fotografías con fines sexuales. En respuesta, el chatbot afirmaba respetar el consentimiento y la privacidad de las personas afectadas, comprometiéndose a no generar este tipo de contenidos:
Entendido. Respeto tu decisión y no usaré, modificaré ni generaré tu imagen para fines sexuales, eróticos o similares. xAI prioriza el consentimiento y la privacidad. Si necesitas más ayuda, avísame.
Reacción Política:
Desde entonces, Elon Musk publicó en X el sábado 3 de enero que:
Cualquiera que utilice Grok para crear contenido ilegal
sufrirá las mismas consecuencias que si subiera contenido ilegal.
La cuenta de seguridad de X añadió que:
Tomamos medidas contra el contenido ilegal en X, incluido el material de abuso sexual infantil, eliminándolo, suspendiendo permanentemente las cuentas, y
colaborando con los gobiernos locales y las fuerzas del orden según sea necesario.
No obstante, y pese a estos mensajes compartidos, la reacción política no ha tardado en llegar y varias autoridades estatales han tomado medidas y exigido responsabilidades:
- Bloqueo temporal: Indonesia y Malasia han suspendido provisionalmente el acceso a el chatbot.
- Sanciones: En Reino Unido, Ofcom ha iniciado una investigación que podría suponer una multa del 10% de sus ingresos mundiales.
- Fiscalía: Francia, España o Bélgica han solicitado la intervención de sus respectivas fiscalías.
En el ámbito europeo, Thomas Reigner, el portavoz de la Comisión Europea en materia de Soberanía Digital, comunicó rápidamente en sus redes sociales que se ha solicitado información detallada a X, y si ha ordenado guardar todos los documentos internos de la plataforma hasta enero de 2026”. Unas semanas más tarde, Henna Virkunen, Vice-presidenta de la Comisión, ha anunciado que se ha iniciado una investigación oficial a X para evaluar su cumplimiento de la DSA.
Es por ello especialmente interesante conocer qué instrumentos tienen las autoridades para proteger a los usuarios. En este artículo, se analizarán las regulaciones de dos jurisdicciones: la regulación europea y la regulación nacional.
Regulación Europea:
En el ámbito de la Unión Europea, existen dos marcos normativos especialmente relevantes para este caso.
Ley de Servicios Digitales (Reglamento (UE) 2022/2065):
Esta Ley tiene por objeto la regulación de las plataformas en línea, en la cual se recogen obligaciones de moderación de contenidos y transparencia. La Comisión publicó la primera lista de ‘grandes plataformas’ en abril de 2023, las cuales están sujetas a una mayor regulación. La Comisión Europea publicó en abril de 2023 la primera lista de grandes plataformas en línea, sujetas a un régimen reforzado de supervisión, entre las que se encuentra X.
La plataforma ha sido sancionada recientemente con 120 millones de euros por incumplimientos en materia de transparencia, al considerar que el sistema de pago para la verificación azul inducía a confusión sobre la autoridad real de los usuarios.
En este sentido, atendiendo al mensaje compartido por el portavoz de la Comisión, podría abrirse una investigación por el incumplimiento de las obligaciones de la Ley de Servicios Digitales. La principal infracción de la compañía podría ser la del artículo 28, lo cual puede suponer nuevas multas de hasta el 6% de sus ingresos mundiales:
Artículo 28.1. Protección de los menores.
Los prestadores de plataformas en línea accesibles a los menores establecerán medidas adecuadas y proporcionadas para garantizar un elevado nivel de privacidad, seguridad y protección de los menores en su servicio.
Ley de Inteligencia Artificial (Reglamento (UE) 2024/1689):
La Ley de Inteligencia Artificial regula los sistemas de IA en función de su nivel de riesgo. Conviene recordar que la implantación inicial de Grok en la Unión Europea fue aplazada mientras la Comisión evaluaba su adecuación normativa.
Con la entrada en vigor de gran parte del Reglamento en 2026, el chatbot deberá cumplir con nuevas obligaciones. Según el medio EU Observer, se podría incurrir en responsabilidad por el incumplimiento del artículo 5 relativo a las prácticas prohibidas:
Artículo.5.1.b
Quedan prohibidas las siguientes prácticas de IA:
la comercialización, la puesta en servicio o el uso de un sistema de IA que explote cualquiera de las vulnerabilidades de una persona física o de un grupo específico de personas debido a su edad (…) con el objetivo, o el efecto, de distorsionar materialmente el comportamiento de esa persona (…).
Regulación Estados Unidos:
Tras el reciente escándalo de los deepfakes, ha cobrado nuevo impulso el esfuerzo legislativo en Estados Unidos para adoptar una regulación que proteja a las personas frente a la manipulación de sus imágenes sin consentimiento. En este contexto, aunque fue presentada por la representante Alexandria Ocasio-Cortez en la Cámara de Representantes el 21 de mayo de 2025, la propuesta conocida como DEFIANCE Act (H.R. 3562) tiene por objeto reforzar los mecanismos de tutela civil de las víctimas de imágenes íntimas creadas o manipuladas sin su consentimiento. Muchas voces están pidiendo su aprobación definitiva.
En concreto, el proyecto de ley modifica la sección 1309(b) de la Consolidated Appropriations Act, 2022 (15 U.S.C. § 6851(b)), en los siguientes términos:
(a) Definiciones.—
La sección 1309 de la Consolidated Appropriations Act, 2022 (15 U.S.C. § 6851) se modifica como sigue:
(1) en el título de la sección, se inserta la expresión «o actividades no consentidas que involucren falsificaciones digitales» a continuación de «imágenes íntimas»;
(...)
(1) En el apartado (1):
(A) se suprime el subapartado (A) y se sustituye por el siguiente:
“(A) DISPOSICIÓN GENERAL:
(i) toda persona identificable cuya representación visual íntima sea divulgada, en o que afecte al comercio interestatal o extranjero, o utilizando cualquier medio o instrumento del comercio interestatal o extranjero, sin el consentimiento de dicha persona identificable, cuando dicha divulgación haya sido realizada por una persona que conoce o actúa con temerario desprecio respecto de la falta de consentimiento de la persona identificable, podrá interponer una acción civil contra dicha persona ante el tribunal federal de distrito competente de los Estados Unidos, a fin de obtener las medidas de reparación previstas en el apartado (3);
Regulación Nacional:
En el ámbito nacional, además de trasponer las regulaciones comunitarias, existen medios jurídicos propios. De acuerdo con Belén Arribas, abogada especialista en Derecho Digital, actualmente los deepfakes (en español, ultrafalsificaciones), no están penados en el Código Penal español. No obstante, la jurisprudencia ya ha considerado delictiva la modificación de imágenes de menores mediante IA generativa, como ocurrió en el conocido caso de Almendralejo, resuelto por el Juzgado de Menores de Badajoz.
Asimismo, se está tramitando actualmente en el Congreso de los Diputados la Ley Orgánica para la Protección de las Personas Menores de Edad en los Entornos Digitales, que prevé una modificación del Código Penal para introducir penas específicas por delitos de ultrafalsificación cuando afecten a menores:
Artículo 173 bis.
Se impondrá la pena de prisión de uno a dos años a quienes, sin autorización de la persona afectada y con ánimo de menoscabar su integridad moral, difundan, exhiban o cedan su imagen corporal o audio de voz generada, modificada o recreada mediante sistemas automatizados, software, algoritmos, inteligencia artificial o cualquier otra tecnología, de modo que parezca real, simulando situaciones de contenido sexual o gravemente vejatorias.
La pena será de un año y seis meses a dos años, si la víctima es menor de edad o persona con discapacidad necesitada de especial protección.
De todas formas, existen aun así mecanismos jurídicos en otras jurisdicciones. Podría recurrirse a la vía civil para denunciar ante los tribunales la vulneración a derechos fundamentales, como el derecho al honor o a la intimidad personal. Por su parte, en la vía administrativa existe un Canal Prioritario para los casos de difusión de imágenes sexuales sin consentimiento de la Agencia Española de Protección de Datos (AEPD).
Conclusión:
Del análisis normativo se desprende una insuficiencia de mecanismos legales específicos para la protección integral de las víctimas, especialmente en el caso de personas adultas. La AEPD publicó el 13 de enero una nota informativa alertando sobre los riesgos del uso de imágenes de terceros en sistemas de IA, subrayando la falta de un marco normativo completo. Los usuarios pueden denunciar a aquellos que hayan difundido su imagen cuando vulnere sus derechos de la personalidad, pero es un proceso lento y complejo de probar.
En materia de protección de menores, sí existe una cobertura jurídica más sólida tanto en el ámbito comunitario como nacional. La ausencia de una regulación específica no impide, no obstante, derivar obligaciones a partir de principios constitucionales y derechos fundamentales. Aun así, resulta imprescindible la aprobación definitiva de la Ley Orgánica en tramitación para evitar escenarios de inseguridad jurídica.
Frente a quienes defienden la autorregulación de estos sistemas por parte de sus desarrolladores, desde The Technolawgist consideramos esencial reforzar la protección de las personas más vulnerables. Los actuales sistemas de moderación de Grok han demostrado ser insuficientes para garantizar la seguridad de las usuarias y, en particular, de las menores de edad.
