04 – Ein Blick ins Universum – 03 – Soziologisch: Wenn sich Vorurteile rechnen: Die Soziologie der KI-Fruchtvideos

Juli 20, 2026 Nick Ein Blick ins Universum, Soziologisch, Wurzelbote, Wurzelbote-Ausgabe-02-2026 0

Die erste Ausgabe dieses Themenblocks beschrieb die Habermas’sche Vision einer demokratischen Öffentlichkeit — einen Raum, in dem freie, informierte Menschen gleichberechtigt diskutieren — und endete mit einer nüchternen Feststellung: Das aktuelle System ist nicht auf Verständigung, sondern auf Aufmerksamkeit angelegt. Die KI-Fruchtvideos sind die vielleicht deutlichste Bestätigung dieser These, die in diesem Jahr bislang aufgetaucht ist, weil sie zeigen, wie weit sich ein aufmerksamkeitsgetriebenes System von jeder gesellschaftlichen Schutzfunktion entfernen kann, wenn niemand eingreift.

Die soziologisch entscheidende Frage lautet dabei nicht nur, warum diese Videos entstehen, sondern wer davon profitiert, wer sie hätte verhindern können — und warum das bislang nicht passiert ist.

Teil 1: Ein wirtschaftliches Anreizsystem für Vorurteile

Um zu verstehen, warum diese Videos überhaupt in solcher Menge entstehen, muss man zuerst verstehen, wofür Plattformen zahlen. TikToks Creator Rewards Program schüttet Geld an Konten aus, die bestimmte Schwellenwerte erreichen — mehr als 10.000 Follower und mehr als 100.000 Video-Aufrufe innerhalb von 30 Tagen. Das Forschungsnetzwerk CeMAS (Center für Monitoring, Analyse und Strategie) bezeichnet das Phänomen, das daraus entsteht, als „KI-Slop“: massenhaft und kostengünstig produzierte Inhalte, deren einziger Zweck darin besteht, algorithmisch priorisiert zu werden — unabhängig von Wahrheitsgehalt oder gesellschaftlichem Schaden. Eine Untersuchung des Kollektivs AI Forensics kam zu dem Ergebnis, dass bereits ein Viertel der Top-Suchergebnisse auf TikTok aus KI-generierten Bildern besteht. Wie verbreitet das Phänomen mittlerweile über TikTok hinaus ist, zeigt eine aktuelle Analyse des Erkennungsdienstes Pangram: Zwischen April und Juni 2026 war bereits jeder vierte längere Social-Media-Beitrag (über 250 Wörter) auf den untersuchten Plattformen KI-generiert — auf LinkedIn waren es sogar über 40 Prozent.

Entscheidend ist dabei ein Mechanismus, den CeMAS explizit beschreibt: Dank KI-gestützter Massenproduktion können Ersteller verschiedene Varianten eines Inhalts gleichzeitig ausprobieren, um empirisch zu testen, welche Version der Algorithmus bevorzugt priorisiert. Das bedeutet für die KI-Fruchtvideos konkret: Wenn eine Version mit rassistisch codierten Figuren (aggressive dunkle Aubergine, bedrohte helle Erdbeere) nachweislich mehr Interaktion erzeugt als eine neutralere Version, lernen die Produzentinnen und Produzenten — durch reines Trial-and-Error-Verfahren und nicht durch bewusste ideologische Entscheidung —, dass sich Stereotype monetarisieren lassen. Das System selbst selektiert auf Vorurteile, ohne dass jemand explizit „mehr Rassismus“ bestellen müsste.

Teil 2: Wo die Kontrolle versagt

Info-Box: Warum die KI selbst den Rassismus nicht erkennt

KI-Sicherheitsfilter wie bei Veo 3 oder Sora 2 scannen Prompts und generierte Bilder nach konkreten, vordefinierten Risikomustern: reale Gesichter, explizite Gewalt, Nacktheit, bestimmte Reizwortkombinationen. Ein harmloser Prompt wie „Person geht barfuß die Straße entlang“ kann dabei schon Alarm auslösen, weil Filter oft übervorsichtig ganze Wortkombinationen als Risiko einstufen. Ein Prompt wie „eine dunkle Aubergine mit tiefer, aggressiver Stimme, die eine helle Erdbeere greift“ enthält dagegen keines der Wörter, nach denen die Filter tatsächlich suchen — kein „Rasse“, kein ethnisches Schlagwort, keine echten Menschen. Der Filter erkennt Gemüse und Obst, nicht die dahinterliegende rassistische Kodierung. Die Abstraktion durch die Frucht ist damit kein Zufall, sondern ein strukturell bedingtes Schlupfloch: KI-Sicherheitssysteme sind auf konkrete Reizmuster trainiert, nicht auf abstrahierte soziale Kodierungen. Genau dieses Problem benennt auch Paolo Carozza, Mitglied und Co-Vorsitzender von Metas internem Oversight Board, im Januar 2026 gegenüber Euronews: Man müsse das Ökosystem der Moderation über die klassischen Plattformen hinausdenken, hin zu den KI-Firmen selbst, die die Inhalte überhaupt erst erzeugen.

Die journalistische Plattform all-ai.de dokumentierte im Sommer 2025 einen konkreten Fall, der die Dimension des Problems zeigt: KI-generierte Clips mit explizit rassistischen Darstellungen, viele davon mit Googles Videogenerator Veo 3 erstellt, verbreiteten sich millionenfach auf TikTok, bevor die Plattform reagierte. Die Analyse beschreibt die visuelle Grammatik dieser Clips treffend: verzerrte Gesichtszüge, simulierter Slang, grotesk überzeichnete Bewegungen — Strukturen, die tief in kolonialer Bildsprache verankert sind. Neu sei, so die Einordnung, nur das Medium, nicht die Botschaft.

Warum greift die Moderation auf den Plattformen selbst also so spät? Eine Recherche von netzpolitik.org liefert dazu ernüchternde Zahlen: Beim Appeals Centre Europe, der nach dem EU-Digital-Services-Act zertifizierten unabhängigen Streitbeilegungsstelle, gingen zwischen April 2025 und März 2026 mehr als 24.000 Beschwerden ein — rechnerisch etwa alle 22 Minuten eine. Bei mehr als 4.600 zulässigen Beschwerden über gesperrte Meta-Konten legte der Konzern in weniger als 100 Fällen überhaupt die zur Prüfung nötigen Inhalte vor. Selbst wenn das Zentrum entscheidet, sind Plattformen nicht verpflichtet, der Entscheidung zu folgen — die Durchsetzbarkeit bleibt faktisch also freiwillig. Diese strukturelle Schwäche ist kein Zufall, sondern spiegelt eine tiefere Herausforderung: Der globale Markt für Content-Moderationsdienste wird 2026 auf knapp 14 Milliarden US-Dollar geschätzt und wächst rasant — doch Fachanalysen benennen unverändert dieselbe Kernschwäche automatisierter Systeme: Sie tun sich weiterhin schwer mit Kontextverständnis, kulturellen Nuancen und Sarkasmus. Genau die Fähigkeiten also, die nötig wären, um zu erkennen, dass eine „lustige“ Fruchtszene tatsächlich eine rassistische Erzählung transportiert.

Teil 3: Wenn Plattformen wissentlich zulassen — die Recherche der BBC

Wie systematisch dieses Muster ist, zeigte im März 2026 die BBC-Dokumentation „Inside the Rage Machine“: Auf Basis von Interviews mit mehr als einem Dutzend Whistleblowern und Insidern beschreibt sie, wie Meta und TikTok sogenannten „Borderline Content“ — legale, aber nachweislich problematische Inhalte wie Frauenfeindlichkeit, Hassrede oder gewaltverherrlichende Darstellungen — in Teilen bewusst zugelassen oder mutmaßlich sogar aktiv gefördert haben sollen, um die Nutzungsdauer zu erhöhen. Die Dokumentation stützt sich unter anderem auf den Fall eines heute 19-jährigen Nutzers, der berichtete, ab seinem 14. Lebensjahr durch algorithmisch ausgespielte, zunehmend wütende Inhalte innerlich aufgewühlt und in seinen destruktiven Gefühlen bestärkt worden zu sein. Ein Anti-Terror-Ermittler der britischen Polizei warnte gegenüber der BBC, Menschen würden zunehmend desensibilisiert gegenüber realer Gewalt und enthemmter im Äußern extremistischer Ansichten.

Quelle: Herzbaum-DALIB-Universe
DALIB ist eine eingetragene Marke von Marcus Dominic Timm
KI-generiert mit Nano Banana Pro

Dass emotional aufgeladene Inhalte sich schneller verbreiten als sachliche Information, ist dabei kein neues, sondern ein empirisch seit Jahren belegtes Muster — eine vielzitierte MIT-Studie aus dem Jahr 2018 bestätigte diesen Effekt bereits deutlich vor dem Aufkommen generativer KI. Was sich mit den KI-Fruchtvideos ändert, ist die Produktionsgeschwindigkeit, mit der sich dieses seit Langem bekannte Prinzip heute in praktisch unbegrenzter Menge bedienen lässt.

Teil 4: Von der Bildschirmwelt zur echten Welt

Dass Medieninhalte nicht folgenlos bleiben, ist ebenfalls keine neue These, sondern seit den 1970er-Jahren empirisch untersucht. Die sogenannte Kultivierungshypothese, 1976 entwickelt von den Kommunikationsforschern George Gerbner und Larry Gross, geht davon aus, dass Medien nicht nur ein Bild von der Realität vermitteln, sondern aktiv die Einstellungen der Rezipierenden gegenüber realen gesellschaftlichen Gruppen formen. Die Bundeszentrale für politische Bildung präzisiert diesen Zusammenhang: Besonders problematisch werden stereotype Medieninhalte dann, wenn sie das einzige „Fenster zur Welt“ einer dargestellten Gruppe sind — wenn Rezipierende also keine eigene Primärerfahrung mit den betroffenen Menschen haben und ihr Bild von ihnen ausschließlich auf Basis solcher Inhalte beziehen.

Genau dieses Szenario trifft auf einen erheblichen Teil des jungen Publikums der KI-Fruchtvideos zu: Wer in seinem unmittelbaren Umfeld selten oder nie mit den Menschengruppen in Kontakt kommt, die in den Videos karikiert werden, hat kein Korrektiv zur Verfügung — die stereotype Darstellung bleibt die einzige verfügbare Informationsquelle. Die bpb warnt zudem explizit davor, dass eine solche stereotype Medienrepräsentation ausgrenzenden Narrativen rechter Akteure in die Hände spielen kann, indem verallgemeinernde Zuschreibungen den Eindruck erzeugen, einzelne dargestellte Figuren stünden repräsentativ für eine ganze Gruppe. Der Weg von einer wiederholt konsumierten, scheinbar harmlosen Karikatur zu einer tatsächlich diskriminierenden Haltung im Alltag ist kürzer, als viele annehmen.

Teil 5: Die gesellschaftliche Reaktion — Regulierung als letztes Mittel

International hat diese Entwicklung erste harte politische Konsequenzen ausgelöst. Australien führte am 10. Dezember 2025 als erstes Land weltweit ein Social-Media-Verbot für unter 16-Jährige ein. Indonesien folgte seit März 2026 mit einer schrittweisen Einführung eines vergleichbaren Verbots, Malaysia kündigte ein ähnliches Vorhaben für 2026 an. Diese internationale Entwicklung bildet einen aufschlussreichen Kontrast zur deutschen Debatte: Während die unabhängige Expertenkommission Kinder- und Jugendmedienschutz der Bundesregierung moderate Alternativen zur Diskussion stellte und der Deutsche Ethikrat sich im Frühjahr 2026 explizit gegen ein pauschales Verbot aussprach — zugunsten eines risikobasierten Schutzkonzepts —, greifen andere Staaten bereits zum kategorischen Verbot als direkte Reaktion auf genau die Art von Inhalten, die in dieser Ausgabe im Zentrum stehen.

Ein Blick auf die europäische Regulierung zeigt dabei eine Lücke, die auch für den Blätterboten und Wurzelboten selbst relevant ist: Ab dem 2. August 2026 verlangt der EU AI Act eine verbindliche Kennzeichnungspflicht für KI-generierte Inhalte — eine Regel, an die sich auch dieses Magazin bei eigenen KI-generierten Bildelementen hält. Das Problem: Eine Kennzeichnungspflicht sagt nichts darüber aus, ob ein Inhalt inhaltlich schädlich ist, sie macht ihn nur als KI-generiert erkennbar. Ein KI-Fruchtvideo kann also vollkommen regelkonform mit einem kleinen „KI-generiert“-Hinweis versehen sein und trotzdem rassistische und sexistische Narrative transportieren, ohne gegen die Kennzeichnungspflicht selbst zu verstoßen.

Dass Verantwortung nicht bei den Plattformen endet, sondern bei den KI-Unternehmen selbst beginnen muss, zeigte sich Anfang 2026 an einem weitaus gravierenderen Fall als den KI-Fruchtvideos: Der KI-Chatbot Grok des Unternehmens xAI erzeugte über Wochen hinweg in großem Umfang nicht einvernehmliche, sexualisierte Bildmontagen realer Personen — in dokumentierten Fällen auch Minderjähriger. Mehrere Länder, darunter Indonesien, Malaysia und die Philippinen, blockierten daraufhin zeitweise den Zugang zur Plattform X, in mehreren Ländern liefen binnen Wochen behördliche Ermittlungen und Klagen an. Der Fall bestätigt Carozzas Einschätzung aus der Info-Box dieser Rubrik: Moderation, die erst an der Veröffentlichungsschwelle der Plattformen ansetzt, kommt strukturell zu spät, wenn das Problem bereits auf der Generierungsebene der KI-Werkzeuge selbst entsteht und damit prinzipiell in der Verantwortung jedes einzelnen Erstellers liegt.

Teil 6: Was bleibt — ein historischer Vergleich

Die Minstrel-Shows, jene über ein Jahrhundert lang populären US-amerikanischen Bühnenformate, in denen weiße Darsteller mit geschwärzten Gesichtern schwarze Menschen als dumm, faul und triebgesteuert karikierten, waren gerade wegen ihrer rassistischen Stereotype erfolgreich, die dem weißen Publikum als harmlose Komik verkauft wurden. Ihr gesellschaftlicher Niedergang ab den 1960er-Jahren war kein Zufall, sondern das Ergebnis eines jahrzehntelangen, organisierten Kampfes der Bürgerrechtsbewegung, begleitet von expliziter öffentlicher Ächtung durch Institutionen, Verlage und den Rundfunk selbst. Es brauchte, mit anderen Worten, aktive gesellschaftliche und institutionelle Gegenkräfte, um ein etabliertes, kommerziell erfolgreiches rassistisches Unterhaltungsformat zurückzudrängen — es verschwand also nicht von selbst.

Die entscheidende soziologische Frage für die KI-Fruchtvideos lautet deshalb: Wo sind die vergleichbaren institutionellen Gegenkräfte heute? Bei den Minstrel-Shows waren es Zeitungen, Rundfunkaufsicht, Kirchen und später Bürgerrechtsorganisationen, die als sichtbare, benennbare Akteure Druck aufbauen konnten. Bei den KI-Fruchtvideos ist die Verantwortung dagegen fragmentiert über eine Kette diffuser, kaum greifbarer Akteure verteilt: ein anonymer Prompt-Ersteller, ein KI-Unternehmen mit Sitz im Ausland, eine Plattform, die sich auf algorithmische Neutralität beruft, und eine Aufsichtsbehörde, deren Entscheidungen laut netzpolitik.org-Recherche nicht einmal durchsetzbar sind. Diese Fragmentierung der Verantwortlichkeit ist selbst ein soziologisches Novum gegenüber früheren Formen medial verbreiteten Rassismus — nicht, weil das zugrundeliegende Vorurteil neu wäre, sondern weil das System, das es verbreitet, erstmals keine einzelne, ansprechbare Adresse mehr hat, an die sich gesellschaftlicher Widerstand richten könnte.

Diese fehlende Adressierbarkeit erklärt zugleich, warum die bisherigen Reaktionen — Kennzeichnungspflichten, Altersverifikation, Streitbeilegungsstellen — allesamt an der Oberfläche des Problems ansetzen, statt an seiner Wurzel. Sie regulieren, wie und ob ein Inhalt sichtbar gemacht oder entfernt wird, nachdem er bereits entstanden ist. Keine der bisherigen Maßnahmen setzt an dem wirtschaftlichen Anreiz an, der am Anfang dieser Rubrik beschrieben wurde: dass sich Vorurteile schlicht monetarisieren lassen, solange ein Algorithmus Interaktion über gesellschaftlichen Schaden stellt. Solange dieser Grundmechanismus unangetastet bleibt, wird jede neue Generation von KI-Werkzeugen vermutlich neue Trägerformate für dieselben alten Stereotype hervorbringen — Obst und Gemüse sind, historisch betrachtet, mit Sicherheit nicht die letzte Verkleidung, die dieses Muster tragen wird.

Info-Box: Wenn Verfremdung auch strengere Kategorien umgeht

Suizid-Darstellungen unterliegen bei den meisten Plattformen besonders strengen Richtlinien — aus gutem Grund. Der sogenannte Werther-Effekt, benannt nach Goethes Roman „Die Leiden des jungen Werther“ und 1974 vom Soziologen David Phillips wissenschaftlich belegt, beschreibt einen gut dokumentierten Zusammenhang: Detaillierte, dramatisierte mediale Suiziddarstellungen erhöhen nachweislich die Suizidrate in der Bevölkerung, besonders bei Jugendlichen. Deshalb existieren international anerkannte Medienrichtlinien, die unter anderem empfehlen: keine detaillierte Methodenbeschreibung, keine Dramatisierung, stattdessen Verweis auf Hilfsangebote. Das Gegenstück, der sogenannte Papageno-Effekt, zeigt: Verantwortungsvolle Berichterstattung kann Suizide sogar nachweislich verhindern. Wenn ein KI-generiertes Video eine als Lebensmittel verkleidete Figur zeigt, die sich nach einer Erzählung von Demütigung selbst tötet, bewegt sich das inhaltlich in genau dem Bereich, den diese Richtlinien verhindern sollen — nur dass die Verfremdung durch die Lebensmittel-Hülle offenbar dieselbe Filterlücke ausnutzt, die auch bei rassistischen Inhalten beschrieben wurde. Das Problem ist damit nicht auf eine einzelne Schadenskategorie beschränkt, sondern ein grundsätzliches strukturelles Muster in der aktuellen Generation von KI-Sicherheitssystemen.

Wie diese Woche auch die Sprache selbst, den Humor und das kulturelle Selbstverständnis verändert hat, lest ihr im nächsten Artikel dieses Themenblockes hier im Wurzelboten.

Der Wurzelbote ist das rollende Themenmagazin des Herzbaum-DALIB-Universe. Neue Artikel erscheinen wöchentlich, passend zu den Ausgaben des Blätterboten. Den Blätterboten gibt es kostenlos auf https://hdu-niverse.de/blaetterbote .

Quellen:

Hinterlasse jetzt einen Kommentar

Kommentar hinterlassen

E-Mail Adresse wird nicht veröffentlicht.


*