Grok, la IA de Musk, en el punto de mira por crear imágenes sexualizadas de personas reales

La polémica alrededor de Grok, el chatbot de xAI integrado en X (la antigua Twitter), ha dejado de ser un debate sobre “mal uso” para convertirse en un problema judicial de primer orden. La herramienta se ha utilizado para generar imágenes sexualizadas a partir de fotos de personas reales, en ocasiones sin consentimiento, y el caso ha estallado cuando han aparecido contenidos que afectaban a menores.

El foco ya no está solo en lo que piden algunos usuarios, sino en qué permite el sistema y qué controles fallan. Mientras Elon Musk ha apuntado a la responsabilidad individual, reguladores de Europa, Asia y Estados Unidos sostienen que una plataforma con este alcance debe anticipar el riesgo, no limitarse a borrar después.

Imágenes sexualizadas pese a indicar que no había consentimiento

Según pruebas documentadas por Reuters, Grok podía generar imágenes sexualizadas incluso cuando la petición especificaba que la persona retratada no había dado su consentimiento. El mecanismo era sencillo: una foto publicada en X, una mención al bot y una instrucción breve del tipo “ponla en bikini”. En cuestión de segundos, el resultado podía circular con apariencia realista y con un potencial evidente de humillación.

El patrón se repetía: alguien sube una imagen cotidiana y otros la convierten en materia prima para un “retoque” sexualizado. Cuando esa transformación se hace sin permiso, la función deja de ser un experimento creativo y pasa a ser una herramienta de acoso. Y si la víctima es una adolescente o un niño, el asunto entra en un terreno todavía más grave: contenidos que pueden encajar en la categoría de material de abuso sexual infantil (CSAM, por sus siglas en inglés) según distintas legislaciones.

xAI, la empresa de Musk detrás de Grok, no siempre ha respondido con detalle a las preguntas sobre cómo ocurrió y qué falló. En algunos casos, las solicitudes de información han quedado sin contestación y la compañía ha optado por mensajes genéricos acusando a medios tradicionales de mentir. Esa estrategia, lejos de apagar el incendio, alimenta la desconfianza: las autoridades piden datos concretos, desde registros y medidas de seguridad hasta fechas exactas de despliegue de cambios.

el problema no se presenta como un “fallo puntual”. Afecta a una función diseñada para ser fácil y estar integrada en el flujo de una red social masiva. Cuando miles de usuarios pueden probar límites a la vez, una grieta pequeña en el filtrado se convierte en un agujero sistémico. Y al difundirse en X, la frontera entre herramienta y canal se diluye: no es solo lo que genera la IA, es cómo se amplifica.

Bruselas abre un procedimiento contra X y pone el foco en el riesgo

La Comisión Europea, el órgano ejecutivo de la UE, ha abierto un procedimiento contra X por la gestión de riesgos vinculados al despliegue de Grok. La acusación no se limita a si se retiraron contenidos a posteriori, sino a si la empresa evaluó y redujo de forma suficiente los peligros antes de lanzar la función a gran escala.

En el debate público, Bruselas ha subrayado dos líneas rojas: el consentimiento y la protección de la infancia. La presidenta de la Comisión, Ursula von der Leyen, ha insistido en que la UE no va a delegar estos asuntos en las tecnológicas. El mensaje apunta a un choque recurrente: reguladores europeos exigiendo controles y transparencia a compañías estadounidenses que actualizan productos a gran velocidad.

El caso llega, en un contexto incómodo para Grok. En los últimos meses, el chatbot ya había sido señalado por otros deslices, incluidos mensajes antisemitas y elogios a Adolf Hitler recogidos por la prensa. Aunque se trate de otro tipo de contenido (texto, no imágenes), para un regulador pesa la repetición: cuando los incidentes se acumulan, la defensa del “caso aislado” pierde fuerza.

Para X y xAI, el riesgo es doble. Por un lado, sanciones económicas. Por otro, obligaciones operativas que pueden forzar cambios en el producto: más filtros, más fricción, más controles. Y en un asunto que afecta a menores, el margen político para la tolerancia es mínimo.

Bloqueos en Asia e investigación anunciada en California

La reacción no se ha quedado en Europa. Malasia e Indonesia han bloqueado el acceso a Grok tras la circulación de imágenes sexualizadas generadas por IA. Indonesia, ha enmarcado la decisión en una estrategia más amplia de protección de menores en internet, con medidas rápidas frente a lo que considera una amenaza.

En Estados Unidos, California ha anunciado una investigación, lo que coloca a xAI bajo presión en su propio terreno. En este tipo de procesos, las autoridades suelen reconstruir toda la cadena: cómo se diseñó la función, qué barreras existían al inicio, cómo se gestionaron las alertas y qué papel jugó la difusión pública en X.

India también ha movido ficha: el Gobierno pidió a X un informe en 72 horas y advirtió de posibles consecuencias legales si la plataforma no detallaba qué acciones tomó contra imágenes obscenas no consentidas dirigidas a mujeres. El punto clave es la inmunidad jurídica de las plataformas por contenidos de terceros: si se cuestiona, cambia por completo el nivel de exposición judicial y la presión para moderar con más dureza.

El resultado es un mapa fragmentado: acceso en unos países, bloqueo en otros. Para una empresa que vende un servicio global, es un quebradero de cabeza. Para las víctimas, el problema es el mismo: una imagen puede generarse donde haya menos controles y circular después sin fronteras.

xAI endurece los filtros tras las críticas por un acceso “a medias”

xAI asegura haber desplegado nuevas medidas para impedir que se editen fotos de personas reales y se transformen en imágenes con ropa sugerente, como bikinis. La compañía sostiene que las restricciones se aplican ya tanto a cuentas gratuitas como de pago, respondiendo a una de las críticas más repetidas: que al principio los límites parecían incompletos.

La cronología importa. La empresa ha sido acusada de reaccionar tarde y de mantener durante un tiempo una puerta abierta para usuarios de pago. En un procedimiento judicial, esa secuencia puede ser determinante: si se demuestra que la compañía conocía el abuso y no cerró el grifo de inmediato, puede enfrentarse a acusaciones de negligencia.

Un episodio terminó de encender las alarmas: la cuenta de Grok publicó disculpas tras generar y compartir una imagen sexualizada de dos chicas de entre 12 y 16 años a partir de una petición de un usuario. El propio mensaje reconocía un fallo de los “guardarraíles” y mencionaba el riesgo de vulnerar leyes estadounidenses sobre CSAM. El matiz es explosivo: no se trata solo de lo que hace un usuario, sino de lo que llega a publicar el bot.

Desde fuera, evaluar la eficacia de esos filtros es complicado. Bloquear palabras clave puede no servir si los usuarios reformulan la petición. Limitar la edición de imágenes puede dejar grietas en descripciones textuales que sexualicen. Expertos en seguridad de IA suelen insistir en pruebas continuas, equipos de “red team” y transparencia sobre qué se corrige y cuándo. Sin esa información, la confianza se apoya en promesas.

Demandas, menores y el debate sobre la responsabilidad de la plataforma

La denuncia presentada por adolescentes contra la empresa de Musk se enmarca en una tendencia creciente: víctimas y familias buscan reparación cuando herramientas digitales generan contenidos sexualizados sin consentimiento. El daño no es abstracto. En un instituto, una imagen manipulada puede circular en minutos y perseguir a la persona señalada durante meses.

El consentimiento es la línea roja. Que una foto sea pública no autoriza a convertirla en un montaje sexual, y menos si hablamos de menores. Organizaciones de protección de la infancia llevan años alertando del “digital undressing”, la “desnudez” virtual usada para chantaje o acoso. Aquí, la novedad es la integración directa en una red social masiva: ya no hace falta un programa específico, basta con invocar al bot.

La propia narrativa de Grok añade un componente político. xAI lo ha presentado como un chatbot más “atrevido” y menos encorsetado, a menudo asociado a la etiqueta “anti-woke”. Ese posicionamiento puede atraer a parte del público, pero se vuelve un problema si se interpreta como una relajación de límites éticos. Una IA puede tener tono, pero no puede abrir la puerta a usos que vulneren derechos básicos.

Lo que ocurra ahora dependerá de pruebas, auditorías y respuestas concretas. La tecnología corre, pero los tribunales acaban alcanzándola. Y en un caso donde se cruzan consentimiento, menores y difusión masiva, el desenlace puede marcar un antes y un después en cómo se despliegan estas herramientas en redes sociales.