Character.AI Altersverifizierung-Analyse: Sicherheit durch Design

Die Compliance-Lektion aus Italiens jüngster KI-Durchsetzungsmaßnahme ist ziemlich eindeutig: Ein Chatbot kann ein Onboarding-Problem nicht einfach durch Moderation lösen. Wenn Minderjährige das Produkt nutzen können, fragen Regulierungsbehörden immer häufiger, was vor der ersten Eingabeaufforderung passiert, nicht nur, was nach der Antwort des Modells passiert. Italiens Datenschutzbehörde, der Garante, verhängte laut einem von AOL übernommenen Reuters-Bericht eine Geldstrafe von 158.000 € (180.500 $) gegen Character Technologies, den in den USA ansässigen Eigentümer von Character.AI. Der Dienst ermöglicht es Nutzern, darunter auch Minderjährigen, mit KI-generierten virtuellen Figuren zu chatten. Das macht ihn zu einer nützlichen Fallstudie für KI-Begleiter-Produkte, bei denen Nähe, Personalisierung und Datenerhebung auf den unbeliebtesten Satz im Produktmanagement treffen: Zeig mir die Altersabfrage.

Was Italien tatsächlich festgestellt hat

Laut dem von AOL übernommenen Reuters-Bericht stellte der Garante mehrere Datenschutzverstöße fest, darunter Mängel bei den Informationen, die den Nutzern über die Verarbeitung personenbezogener Daten bereitgestellt wurden. Die Behörde äußerte außerdem Bedenken zu Schutzmaßnahmen für Minderjährige und zur Wirksamkeit von Verfahren zur Altersüberprüfung. Sie erklärte, dass über die bereits bestehenden Maßnahmen hinaus weitere Schutzvorkehrungen erforderlich seien. Character Technologies reagierte laut demselben Bericht nicht sofort auf eine Bitte um Stellungnahme. Die Aufsichtsbehörde erklärte außerdem, das Unternehmen habe verspätet eine Datenschutz-Folgenabschätzung, oder DPIA, durchgeführt und verspätet einen EU-Vertreter benannt, berichtete Reuters über AOL.

In Produktbegriffen gesagt: Das ist nicht nur ein Thema für Inhaltsrichtlinien. Die genannten Mängel betreffen den gesamten Lebenszyklus des Dienstes: die Datennutzung erklären, das Alter der Nutzer mit ausreichender Sicherheit bestimmen, Risiken vor oder während der Bereitstellung bewerten und den vorgeschriebenen EU-Ansprechpartner für Rechenschaftspflichten einrichten.

Bemerkenswert ist die Bündelung. Ein schwacher Datenschutzhinweis ist nicht derselbe Mangel wie eine schwache Altersprüfung, und eine verspätete DPIA ist nicht derselbe Mangel wie eine fehlende Kinderschutzkontrolle. Aber der Garante behandelte sie als zusammenhängende Hinweise darauf, ob der Dienst für eine rechtmäßige und sichere Nutzung durch die Menschen gestaltet wurde, die tatsächlich Zugang dazu erhalten konnten.

Altersabsicherung ist kein nachträglicher Gedanke mehr

Die Reuters-Fassung von WTVB berichtet denselben Kernpunkt: Der Garante stellte Schutzmaßnahmen für Minderjährige und die Wirksamkeit der Altersüberprüfung infrage und sagte zugleich, dass über die bereits bestehenden Maßnahmen hinaus weitere Schutzvorkehrungen nötig seien. Diese Formulierung ist wichtig, denn sie sagt nicht höflich: Fügt ein Banner hinzu und macht weiter. Sie sagt: Die Zugangsebene ist Teil des Sicherheitsdesigns.

Für Entwickler ist die einfache Pflicht langweilig und gerade deshalb wichtig. Wenn Minderjährige das Produkt nutzen können, muss das Onboarding das Alter auf eine Weise erfassen oder ableiten, die zum Risiko des Produkts passt. Datenschutzhinweise müssen erklären, was mit personenbezogenen Daten passiert. Und Kinderschutzkontrollen müssen an den Kontostatus gekoppelt sein, statt einfach an die Moderationswarteschlange angehängt zu werden. Inhaltsfilter bleiben wichtig, aber sie sind nachgelagerte Kontrollen. Die Aufsichtsbehörde schaut weiter nach vorn, darauf, wer überhaupt durch die Tür gelassen wird.

Genau hier haben KI-Begleiter-Produkte weniger Spielraum für die üblichen Ausweichmanöver. Ein Dienst für virtuelle Figuren ist nicht einfach ein Suchfeld mit freundlicherer Schriftart. Er lädt zu wiederholten, personalisierten Gesprächen ein, was bedeutet, dass Fragen zu Alter, Einwilligung, Profiling und Aufbewahrung früh auftauchen. Wenn eure Launch-Checkliste Modellsicherheit enthält, aber keine Altersabsicherung, spielt die Checkliste nur Theater.

Der ChatGPT-Präzedenzfall ist das Warnschild

Der von AOL übernommene Reuters-Bericht weist darauf hin, dass der Garante zu den proaktiveren KI-Regulierungsbehörden Europas gehört und OpenAIs ChatGPT im Jahr 2023 wegen Problemen bei Altersprüfungen und Datenerhebung kurzzeitig verboten hatte. Dieser Präzedenzfall bedeutet nicht, dass jeder Chatbot nur eine Durchsetzungsmitteilung von einer Aussetzung entfernt ist. Er bedeutet aber, dass Italien bereits gezeigt hat: Zugangskontrollen für generative KI können zu einem Datenschutz-Durchsetzungsthema werden, nicht nur zu einer Randnotiz für die Öffentlichkeitsarbeit.

Hier wird LinkedIn bis Sonnenuntergang übertreiben. Das Gesetz sagt nicht, dass KI-Begleiter grundsätzlich rechtswidrig sind, zumindest nicht auf Grundlage der hier berichteten Fakten. Es sagt, dass die Grundlagen weiterhin gelten, auch wenn die Benutzeroberfläche charmant ist: Sagt den Nutzern, wie ihre Daten verarbeitet werden, bewertet risikoreiche Verarbeitung, bevor sie zur Gewohnheit wird, richtet eine EU-Vertretung ein, wenn sie erforderlich ist, und winkt Kinder nicht durch ein Produkt, dessen Schutzmaßnahmen davon abhängen, später richtig zu raten.

Außerdem versteckt sich hier gut sichtbar ein Zuständigkeitsproblem. Das Unternehmen hat seinen Sitz in den USA, während die Durchsetzung laut Reuters über AOL von Italiens Datenschutzbehörde ausging. Verbraucher-KI-Dienste, die grenzüberschreitend skalieren, übernehmen lokale Datenschutzerwartungen, ob das Produktteam dafür Personal eingeplant hat oder nicht. Das Internet bleibt ärgerlicherweise auch in Europa verfügbar.

Was Entwickler jetzt ändern sollten

OECD.AI stufte den Fall als KI-Vorfall ein, der Datenschutz- und Kinderschutzmängel umfasst, und The News International berichtete, dass der Garante Verstöße gegen den Datenschutzrahmen der EU-DSGVO hervorhob. Diese Einordnungen sind nützlich, weil sie die Geldstrafe in den Bereich Governance einordnen, nicht nur in den Bereich Vertrauen und Sicherheit. Regulierungsbehörden behandeln Alterszugang, Datenschutzinformationen und interne Risikobewertung als Teile eines einzigen Betriebssystems.

Die praktische Lehre ist einfach. Vor dem Start sollten Teams, die KI-Begleiter entwickeln, erfassen, ob Minderjährige auf den Dienst zugreifen können, entscheiden, welche Altersabsicherung verhältnismäßig ist, Datenschutzinformationen schreiben, die ein normaler Nutzer verstehen kann, und die DPIA abschließen, bevor das Risiko bereits ausgeliefert wurde. Anbieter-Verträge und interne Zuständigkeiten sollten außerdem regeln, wer die Altersprüfung pflegt, wer Kinderschutzkontrollen überprüft und wer EU-Vertreterpflichten übernimmt, sofern sie gelten.

Die Geldstrafe von 158.000 € ist nicht die höchste Summe in der Datenschutzdurchsetzung, aber das ist die falsche Kennzahl. Die bessere Kennzahl sind Architekturkosten. Altersabsicherung nachträglich in einen KI-Begleiter einzubauen, nachdem Regulierungsbehörden Fragen gestellt haben, ist langsamer, chaotischer und anwaltlich intensiver, als die Zugangsebene gemeinsam mit der Modellebene zu entwerfen. Beobachtet, ob andere europäische Aufsichtsbehörden Italiens Sichtweise übernehmen, denn die nächste Durchsetzungsmitteilung könnte weniger wie eine Warnung und mehr wie ein Produktanforderungsdokument klingen.