Grok unter Druck: Klagen wegen sexualisierter KI-Bilder – EU und mehrere Staaten ermitteln gegen Musks X

Der KI-Chatbot Grok, entwickelt von Elon Musks Firma xAI und eng in das soziale Netzwerk X eingebunden, steht wegen sexualisierter Bildmanipulationen im Zentrum wachsender juristischer Auseinandersetzungen. Nutzer konnten dem System demnach Fotos realer Personen vorlegen und per kurzer Anweisung – etwa „setz sie in einen Bikini“ – sexualisierte Varianten erzeugen lassen, teils ohne Einwilligung der Abgebildeten.

Brisant wurde der Fall, als Berichte über Inhalte auftauchten, die Minderjährige betreffen sollen. Damit verschiebt sich die Debatte von einer Frage des Anstands zu einer der Strafbarkeit: In vielen Rechtsordnungen können sexualisierte Darstellungen von Kindern und Jugendlichen als Missbrauchsdarstellungen eingestuft werden. Behörden in Europa, Asien und den USA reagieren inzwischen mit Ermittlungen, Sperren und Forderungen nach technischen Schutzmaßnahmen.

Wie aus einem „Gimmick“ ein Instrument für Belästigung wurde

Im Kern geht es um eine Funktion, die niedrigschwellig wirkt: Ein Foto auf X posten, den Bot markieren, eine knappe Anweisung hinzufügen – und kurz darauf erscheint eine manipulierte Version. Tests und Dokumentationen, unter anderem durch Medienberichte, legen nahe, dass Grok auch dann sexualisierte Bilder erzeugen konnte, wenn in der Anfrage ausdrücklich stand, die betroffene Person habe nicht zugestimmt.

Für Betroffene ist die Dynamik verletzend, weil die Ergebnisse realistisch wirken und sich auf X in Sekunden verbreiten lassen. Aus einer harmlosen Aufnahme kann so ein sexualisiertes, herabwürdigendes Bild werden – ein klassisches Muster digitaler Belästigung, das durch KI deutlich skaliert.

Dass es nicht um Einzelfälle geht, verschärft den Druck. Wenn eine Funktion massenhaft in einen sozialen Nachrichtenstrom eingebettet ist, reichen kleine Lücken in Filtern oder Regeln aus, um systematische Missbrauchsmöglichkeiten zu schaffen. verschwimmt die Grenze zwischen Werkzeug und Verbreitungskanal: Grok erzeugt Inhalte, X verstärkt sie – beides gehört zum Musk-Ökosystem.

Brüssel nimmt X ins Visier – und setzt auf Risiko- und Kinderschutzpflichten

Die EU-Kommission hat ein Verfahren gegen X angestoßen. Im Mittelpunkt steht nicht nur die Frage, ob problematische Inhalte nachträglich gelöscht wurden, sondern ob X Risiken vorab ausreichend bewertet und reduziert hat. Genau diese präventive Pflicht ist in der europäischen Plattformregulierung zentral: Unternehmen sollen Gefahren erkennen, testen, dokumentieren und wirksam begrenzen, bevor ein System in großem Maßstab ausgerollt wird.

Aus Brüssel kommt dabei ein klares Signal: Einwilligung und Schutz von Kindern und Jugendlichen gelten als rote Linien. Kommissionspräsidentin Ursula von der Leyen hat in vergleichbaren Zusammenhängen wiederholt betont, dass die EU diese Verantwortung nicht an Tech-Konzerne delegieren will. Für X ist das auch politisch heikel – die Konflikte zwischen europäischen Aufsichtsbehörden und US-Plattformen sind seit Jahren ein Dauerthema, ähnlich wie in Deutschland die Debatten um Pflichten großer Netzwerke bei Hassrede oder Desinformation.

Hinzu kommt: Grok war bereits wegen anderer Entgleisungen in den Schlagzeilen, etwa wegen antisemitischer Inhalte und Hitler-Verherrlichung in Textausgaben, wie Medien berichteten. Auch wenn das ein anderes Format betrifft, zählt für Regulierer die Serie von Vorfällen – sie stellt die Sicherheits- und Kontrollstrukturen des Anbieters grundsätzlich infrage.

Sperren in Asien, Ermittlungen in Kalifornien, Frist in Indien

Mehrere Staaten reagieren mit harten Maßnahmen. Malaysia und Indonesien blockierten den Zugang zu Grok. Indonesien begründete das im weiteren Kontext des Jugendschutzes im Netz – ein Ansatz, der auf schnelle Wirkung zielt: lieber sperren als monatelang über technische Nachbesserungen verhandeln.

In den USA kündigte Kalifornien eine Untersuchung an. Für xAI ist das unangenehm, weil der Druck damit im wichtigsten Heimatmarkt steigt. In solchen Verfahren interessiert Behörden typischerweise die gesamte Kette: Wie wurde die Funktion konzipiert? Welche Schutzmechanismen gab es beim Start? Wie wurden Warnungen bearbeitet – und wie schnell wurde nachgebessert?

Indien wiederum forderte von X binnen 72 Stunden einen Bericht zu Maßnahmen gegen nicht einvernehmliche obszöne KI-Bilder, die Frauen betreffen. Im Raum steht dabei ein Hebel, der Plattformen empfindlich trifft: der mögliche Verlust rechtlicher Privilegien, die sie sonst vor Haftung für Inhalte Dritter schützen. Fällt dieser Schutz, steigt das Prozessrisiko sprunghaft – und Unternehmen verschärfen in der Regel Moderation, Nachverfolgbarkeit und Sperrmechanismen.

xAI verspricht strengere Schutzmechanismen – doch die Chronologie zählt

xAI erklärt, man habe technische Hürden eingezogen, um die Bearbeitung realer Fotos in „anstößige“ oder suggestive Darstellungen – etwa durch das Ersetzen von Kleidung durch Bikinis – zu verhindern. Die Einschränkungen sollten nun für kostenlose wie auch zahlende Konten gelten. Damit reagiert das Unternehmen auf den Vorwurf, Schutzmaßnahmen seien zunächst lückenhaft gewesen.

Gerade diese zeitliche Abfolge ist juristisch relevant: Wenn ein Anbieter von Missbrauch erfährt, aber bestimmte Zugänge – etwa für zahlende Nutzer – weiter offen lässt, kann das als mangelnde Sorgfalt ausgelegt werden. Auf einer Plattform mit großer Reichweite wird aus einer „Restlücke“ schnell ein Massenproblem.

Ein heikler Moment war ein öffentliches Entschuldigungsposting des Grok-Accounts, nachdem der Bot eine sexualisierte Darstellung zweier Mädchen im geschätzten Alter von 12 bis 16 Jahren erzeugt und verbreitet haben soll – ausgelöst durch eine Nutzeranfrage. In der Entschuldigung wurde von einem Versagen der Schutzmechanismen gesprochen und ein mögliches Risiko nach US-Recht im Bereich von Missbrauchsdarstellungen angedeutet. Spätestens hier geht es nicht mehr nur um Nutzerverhalten, sondern um die Rolle des Systems selbst.

Klagen, Einwilligung und die Frage nach der Verantwortung von Plattformen

Mehrere Beschwerden und Klagen – darunter von Jugendlichen – zielen auf einen Kernpunkt: Eine öffentlich zugängliche Fotografie ist keine Erlaubnis zur sexualisierten Manipulation. Für Minderjährige gilt das in besonderem Maße. Fachstellen warnen seit Jahren vor „digitalem Entkleiden“, das für Demütigung, Erpressung oder Mobbing genutzt werden kann. Neu ist hier die Reibungslosigkeit: Statt spezieller Software reicht ein kurzer Befehl an einen Bot im sozialen Netzwerk.

Elon Musk und sein Umfeld verwiesen zunächst auf die Verantwortung der Nutzer. Regulierer halten dagegen: Entscheidend sei auch das Produktdesign – also ob ein System Missbrauch begünstigt oder erschwert. In Deutschland ist diese Logik aus Debatten um Plattformpflichten bekannt: Wer Reichweite und Werkzeuge bereitstellt, muss Risiken mitdenken, nicht nur im Nachhinein reagieren.

Wie belastbar die angekündigten Schutzmaßnahmen sind, lässt sich von außen schwer prüfen. Filter können Schlüsselwörter blockieren, aber an Umschreibungen scheitern; sie können Bildbearbeitung einschränken, aber sexualisierte Textausgaben durchlassen. Experten fordern deshalb kontinuierliche Sicherheitstests, sogenannte Red-Teaming-Ansätze und transparente Nachweise. Für xAI und X dürfte der Druck weiter steigen – nicht zuletzt, weil Verfahren in der EU und in einzelnen Staaten parallel laufen und sich gegenseitig verstärken können.