Geschäftsmodell Hass

Ich finde es in diesen Wochen kaum erträglich, in den sozialen Medien unterwegs zu sein. Hass, Hetze und Desinformation sind allgegenwärtig. Dabei bin ich nicht einmal besonders betroffen (außer natürlich als Frau vom immer gegenwärtigen Sexismus). Für andere muss das Internet ein noch toxischerer Ort sein. Im Kontext des Hamas-Terrorangriffs und des Israel-Gaza-Krieges sind vor allem Antisemitismus und Rassismus auf Social-Media-Plattformen stark angestiegen. Zusätzlich finden Falschinformationen weite Verbreitung. Insbesondere X (ehemals Twitter) ist zu einer Fake-News-Schleuder geworden – so sehr, dass die EU-Kommission sogar ein Verfahren eingeleitet hat. Der Eigentümer von X, Elon Musk, empfiehlt auf seiner Plattform seinen über 150 Millionen Followern gar höchstpersönlich, sich über den Krieg bei Accounts zu informieren, die Desinformation und blanken Antisemitismus verbreiten. Davon können ihn nicht einmal seine eigenen Leute abhalten, denn die sind gar nicht mehr da: Nachdem Musk Twitter übernahm, hatte er massenhaft Mitarbeitende gefeuert, die dafür zuständig waren, Inhalte zu moderieren und organisierte Desinformation aufzudecken.

KI darf nicht das letzte Wort haben

Das ist das erste Problem: Um Kosten zu sparen, versuchen die Unternehmen, echte Menschen durch Künstliche Intelligenz zu ersetzen. Diese kann zwar dabei helfen, die unendlichen Weiten des Internets nach problematischen Hasspostings zu durchsuchen. Sie darf aber nicht das letzte Wort haben. Denn weder erkennen aktuelle KI-Systeme alle problematischen Inhalte, noch sind alle Inhalte, die sie für problematisch halten, das auch wirklich. Außerdem ist – wie überall, wo KI eingesetzt wird – Diskriminierung ein großes Problem.

So musste sich Meta, das Unternehmen hinter Facebook und Instagram, erst vor wenigen Wochen entschuldigen. Seine Übersetzung hatte Selbstbeschreibungen von Nutzer*innen, die die arabischen Begriffe für „Palästinenser*in“ und „Lob sei dem Herrn“ enthielten, automatisch um das Wort „Terrorist“ ergänzt. Solche Fehler können anti-muslimischen Rassismus anheizen.

Algorithmen bevorzugen polarisierende Inhalte

Das zweite Problem: Die Algorithmen sozialer Medien sind darauf ausgelegt, die Nutzer*innen möglichst lange auf der Plattform zu halten und Interaktionen zu maximieren. Auf diese Weise können viele Daten über die Menschen gesammelt werden, die dabei helfen, möglichst zielgerichtete Werbung anzuzeigen. Zudem können natürlich umso mehr Werbeanzeigen eingeblendet werden, je länger eine Person sich auf der Plattform aufhält.

Da polarisierende, hasserfüllte und aufstachelnde Inhalte viel Aufmerksamkeit erregen, werden sie von den Algorithmen, die darüber entscheiden, was Nutzer*innen zu sehen bekommen, bevorzugt. Zum Verhängnis wurde das beispielsweise den Rohingya in Myanmar. In den Monaten vor ihrer gewalttätigen Vertreibung aus Myanmar wurde Facebook mit Falschinformationen und Aufrufen zur Gewalt gegen die Rohingya geflutet. Eine von den Vereinten Nationen entsandte unabhängige Untersuchungskommission kam zu dem Schluss, dass die sozialen Medien in dem Land eine „signifikante Rolle“ für die Verbrechen gespielt haben. Heute ist die Mehrheit der überlebenden Rohingya in Flüchtlingslagern gestrandet, während Meta weiterhin vom selben Geschäftsmodell profitiert.

Online-Hass führt zu realer Gewalt

Das dritte Problem: Der durchschnittliche US-Amerikaner oder auch wir Leser*innen dieses Blogs sprechen eine Sprache und benutzen Metaphern und Schimpfworte, auf die eine Inhalte-Moderation ganz gut trainiert ist (ob menschlich oder KI). Für den vernachlässigten globalen Süden gilt das leider nicht. In Äthiopien etwa gibt es 85 offiziell anerkannte Sprachen. Facebook kann aber nur in vier davon moderieren – und tut auch das viel zu selten.

Das ist ein riesiges Problem, denn online- und offline-Gewalt gehen ineinander über. Menschenrechtsorganisationen haben belegt, wie Metas Versagen in Äthiopien zu grausamer Gewalt gegen die Zivilbevölkerung beigetragen hat. Etwa gegen die regierungskritische Journalistin Lucy Kassa, die letztlich sogar aus dem Land fliegen musste, nachdem ein Regierungsaccount sie auf Facebook mit einem Foto angeprangert hatte. Oder gegen den Chemieprofessor Meareg Amare, der von einer Gruppe von Männern getötet wurde, nachdem er mittels Facebook-Posts ins Visier genommen worden war. „Ich wusste, dass das ein Todesurteil für meinen Vater sein würde“, beschreibt Amares Sohn seine Reaktion, als er die Posts sah.

Die Äthiopierin Gelila erklärt Metas Versagen im globalen Süden so: „Sie haben kein Gefühl dafür, was gesagt wird. Wenn du an einem Ort lebst, weißt du, welche Sachen etwas auslösen werden, auch wenn es nicht im Sinne ihrer Richtlinien darüber ist, was Hate Speech ist und was nicht. Sie mögen ihr eigenes Verständnis haben in ihrem Büro irgendwo im Westen, aber vor Ort weißt du, was Hassrede im lokalen Kontext ist.“

Hass im Netz darf kein Geschäftsmodell sein

Social-Media-Unternehmen haben eine eigenständige Verpflichtung, Hass und Hetze entgegenzutreten und die Menschenrechte zu achten. Danach sind sie nach nationalem und EU-Recht sowie völkerrechtlich verpflichtet. Sie müssen Antisemitismus, anti-muslimischen Rassismus und anderen Formen von Diskriminierung und Aufstachelung dringend entgegentreten. Hass im Netz darf kein Geschäftsmodell sein.