KI und die offene Gesellschaft: Eine technologische Herausforderung für die Freiheit

Die Idee der offenen Gesellschaft, wie Karl Popper sie formulierte, beruht auf der Einsicht, dass menschliche Fehlbarkeit und die Fähigkeit zur Verbesserung zentrale Triebkräfte gesellschaftlicher Entwicklung sind. Eine offene Gesellschaft schützt den kritischen Diskurs und die Vielfalt von Lebensentwürfen. Sie ermöglicht es, bestehende Ordnungen infrage zu stellen – und lebt von Transparenz, rationaler Kritik und der Bereitschaft zur Selbstkorrektur.

Heute stehen diese Grundlagen vor einer neuartigen Herausforderung: der rasanten Ausbreitung von Technologien der sogenannten "künstlichen Intelligenz". Systeme des maschinellen Lernens verarbeiten Informationen in einem Maßstab, der menschliches Verständnis übersteigt – und beginnen damit, Strukturen unserer Gesellschaft tiefgreifend zu verändern. Nicht durch bewusste Steuerung, sondern durch ihre bloße Funktionsweise.

Diese Veränderung ist nicht technischer, sondern gesellschaftlicher Natur. KI-Systeme beeinflussen, wie Informationen zirkulieren, wie Entscheidungen getroffen werden und wie soziale Normen entstehen. Damit greifen sie in genau jene Prozesse ein, die eine offene Gesellschaft konstituieren – und gefährden deren Grundlagen, wenn sie unreflektiert oder einseitig eingesetzt werden.

Künstliche Intelligenz und der eng verwandte Begriff des maschinellen Lernens bezeichnen zunächst lediglich Techniken der Datenapproximation. Diese werden jedoch zur Grundlage von Automatisierung, technischer Entscheidungsfindung und der Generierung von Medien und Inhalten – und treten so in unseren Alltag ein.

Daraus ergibt sich eine technikphilosophisch und -soziologisch bedeutsame Wechselwirkung: Menschliche Zwecke bestimmen zwar den Einsatz neuer Technologien. Zugleich transformieren Technologien die Sphäre menschlicher Zwecke, indem sie neue Handlungsmöglichkeiten schaffen – und dabei Folgeprobleme entstehen lassen, die ohne die Technologie gar nicht existierten.

So hatte die Feudalgesellschaft des Mittelalters keinerlei Probleme mit den Folgen industrieller Emissionen für das Weltklima: Sie verfügte schlicht nicht über Technologien, die diese Effekte erzeugten. Erst die Industrialisierung machte die Frage des menschengemachten Klimawandels überhaupt relevant.

Technologien erzeugen damit koevolutive gesellschaftliche Prozesse: Gesellschaften verändern sich, indem sie neue Technologien aufnehmen, anpassen – und von deren neu geschaffenen Möglichkeiten und Risiken geformt werden. Wir wollen uns daher mit der künstlichen Intelligenz im Rahmen dieser Wechselwirkungen beschäftigen. Dabei geht es um die Frage, welche Gefahren und welche Möglichkeiten sich aus dem Einsatz maschinellen Lernens für eine offene Gesellschaft im Sinne Poppers ergeben.

Um diese Fragen präzise zu beantworten, ist es zunächst notwendig, den Begriff von künstlicher Intelligenz und maschinellem Lernen klar zu bestimmen.

Wie geht das?

Es gibt zahlreiche Zugänge zum Thema maschinelles Lernen und künstliche Intelligenz – alle führen auf ihre Weise in das Thema ein, einige besser, andere weniger gut. Der natürlichste Weg scheint mir, über die mathematischen Grundideen dieser Technologien einzusteigen, auch auf die Gefahr hin, dass jede mathematische Erläuterung die Leserschaft halbiert.

Dieser Zugang ermöglicht es jedoch, zentrale Missverständnisse zu klären: Die Begrifflichkeit "künstliche Intelligenz" suggeriert, es werde eine künstliche Variante menschlicher Intelligenz geschaffen. Tatsächlich geht es aber darum, dass sowohl natürliche als auch künstliche Intelligenz denselben mathematischen Gesetzmäßigkeiten folgen.

Die Grundfrage des maschinellen Lernens entstammt dem Bereich der numerischen Mathematik und darin der Approximationstheorie: Wie rekonstruiere ich eine Funktion, die ich nicht kenne, von der ich aber einzelne Funktionswerte weiß?

Um diese Fragestellung besser zu verstehen, ist es notwendig, einige zentrale Begriffe kurz zu erläutern: Funktionen, Vektorräume und Basen. Funktionen sind Zuordnungen, die jedem Element eines Eingabebereichs genau ein Element eines Ausgabebereichs zuweisen. Jeder Input hat also einen eindeutigen Output.

Vektorräume wiederum sind algebraische Strukturen, in denen Addition und Skalierung von Elementen möglich sind. Ihre besondere Eigenschaft: Jeder Vektor eines Vektorraums lässt sich als Linearkombination einer Basis von Vektoren darstellen. D.h. es gibt eine Teilmenge der Vektoren, die Basis, so dass alle Vektoren als Summe der skalierten Basisvektoren dargestellt werden können. So kann man etwa im dreidimensionalen Raum jeden Punkt durch drei Zahlen angeben, die angeben, wie stark man entlang der Basisrichtungen verschoben wird.

Auch Funktionenräume besitzen – unter bestimmten Bedingungen – eine Vektorraumstruktur. Allerdings sind sie in der Regel unendlich-dimensional, d.h. die Anzahl der Basisfunktionen ist unendlich. Daher ist eine vollständige Darstellung einer Funktion in dieser Basis, analog zur Beschreibung eines Punkts durch Zahlenwerte, nur theoretisch möglich. Für praktische Anwendungen müssen hingegen Basisdarstellungen gefunden werden, die mit endlich vielen Basisfunktionen auskommen und Funktionen dennoch möglichst gut annähern.

In der angewandten Mathematik spielen daher insbesondere solche Funktionenbasen eine Rolle, bei denen ein kontrollierbarer Fehler akzeptiert wird, um praktische Approximation zu ermöglichen.

Ein typisches Beispiel ist die Fouriertransformation: Periodische Funktionen lassen sich durch eine endliche Anzahl trigonometrischer Basisfunktionen beliebig genau approximieren. Nimmt man hierbei an, ein endlicher Datensatz sei ein Ausschnitt einer solchen periodischen Funktion, kann man ihn mittels der Fouriertransformation als Funktionswerte einer in der Fourier-Basis dargestellten Funktion betrachten und so „komprimieren“ – ein Prinzip, das Verfahren wie Zip-Kompression oder dem mp3-Format zugrunde liegt.

Eine ähnliche Grundidee verfolgt die Regressionsanalyse: Hier wird versucht, zwischen zwei Mengen (beispielsweise Alter und Körpergröße von Kindern) einen funktionalen Zusammenhang zu finden. Perfekte Zuordnungen sind selten möglich, doch lässt sich meist eine Funktion bestimmen, die die Daten im Mittel möglichst gut beschreibt.

Der klassische Ansatz ist die lineare Regression, die diejenige Gerade sucht, deren insgesamte Abweichung von den Datenpunkten minimal ist. Je nach Güte dieser Approximation kann dann etwa die Körpergröße als annähernd lineare Funktion des Alters eines Kindes beschrieben werden. Tatsächlich ist das jedoch schwierig, da sich das Verhältnis von Alter und Körpergröße mit Gerade nur schlecht darstellen lässt.

Um die Genauigkeit zu verbessern, kann man weitere Eingangsgrößen, sogenannte Regressoren, einbeziehen – etwa die Ernährung, das Geschlecht oder genetische Faktoren. Jede zusätzliche Variable ermöglicht eine differenziertere Beschreibung, indem sie einen neuen Aspekt der Beziehung zur Zielgröße erfasst.

Mit zunehmender Anzahl an Regressoren entstehen jedoch Wechselwirkungen: Wie sich eine Variable auf die Zielgröße auswirkt, hängt möglicherweise von einer Interaktion mit anderen Variablen ab. So könnte sich der Einfluss der Ernährung auf das Wachstum je nach Alter des Kindes verändern. Komplexe Wechselwirkungen machen es notwendig, nicht nur die direkten Effekte der Variablen zu berücksichtigen, sondern auch deren Interaktionen.

An dieser Stelle setzt die Architektur neuronaler Netze an: Zunächst werden lineare Kombinationen der Eingangsgrößen gebildet – analog zur klassischen Regression. Dabei werden die komplexen Wechselwirkungen der Regressoren in den sogenannten „hidden layers“ einfach mitberechnet, ohne als solche kenntlich zu werden. Meist werden diese komplexen linearen Regressionen durch sogenannte Aktivierungsfunktionen weiter transformiert, um auch nichtlinear zu berücksichtigen. Damit wird es möglich, beliebig komplexe, nichtlineare Zusammenhänge zwischen Eingangs- und Ausgangsgrößen abzubilden.

Es entsteht eine Architektur, die strukturell der Arbeitsweise des Gehirns ähnelt: Eine Vielzahl einfacher Einheiten kombiniert lineare und nichtlineare Transformationen, um hochkomplexe Muster zu erkennen und darzustellen. Ein solches Netz ist nach dem sogenannten „universal approximation theorem“ in der Lage, jede stetige Funktion auf kompakten Mengen beliebig genau zu approximieren – vorausgesetzt, es ist hinreichend groß und flexibel aufgebaut.

Künstliche neuronale Netze (KNN) sind heute die maßgebliche mathematische Grundlage des maschinellen Lernens. Aufgrund ihrer guten Approximationseigenschaften, ihrer Flexibilität und ihrer relativ einfachen Implementierung haben sie sich als Standardverfahren etabliert – sowohl für Regressionsaufgaben als auch für Klassifikationen.

Ihre besondere Stärke liegt in ihrer Anpassungsfähigkeit: Je nach Tiefe der Architektur können neuronale Netze sowohl einfache als auch hochkomplexe Zusammenhänge in den Daten erfassen. Sie sind in der Lage, nicht nur starre, lineare Beziehungen abzubilden, sondern auf die spezifische Struktur der vorliegenden Daten flexibel zu reagieren.

Gerade diese Flexibilität birgt jedoch auch Risiken. Eine notorische Schwäche neuronaler Netze ist das sogenannte Overfitting: die Tendenz, selbst in zufälligen Schwankungen der Trainingsdaten scheinbare Muster zu erkennen und diese zu verfestigen. Statt allgemeingültige Strukturen zu lernen, werden dabei kontingente Besonderheiten der Trainingsdaten reproduziert, was die Übertragbarkeit auf neue Daten einschränkt.

Dennoch bieten neuronale Netze eine außerordentliche Leistungsfähigkeit, insbesondere bei Aufgaben der Mustererkennung und Klassifikation. Ob ein Vektor von RGB-Werten die Darstellung einer Katze codiert oder nicht – solche diskreten Klassifikationsprobleme lassen sich mit neuronalen Netzen effizient lösen.

Neben neuronalen Netzen existiert eine Vielzahl weiterer Verfahren des maschinellen Lernens, die jeweils spezifische Vorteile und Anwendungsfelder besitzen. Der gemeinsame Kern aller dieser Methoden bleibt jedoch derselbe: Sie dienen der Approximation von Datenstrukturen. Wenn davon gesprochen wird, dass KI "Muster erkennt", so handelt es sich stets um die Annäherung an eine unbekannte Funktion, die die beobachteten Daten möglichst gut beschreibt. Das Ziel des Trainingsprozesses besteht darin, eine Funktion zu finden, die bei gleichem Input möglichst konsistent den erwarteten Output liefert.

Was bringt das?

Die praktischen Anwendungen neuronaler Netze ergeben sich unmittelbar aus ihrer Struktur: Ein (richtig) trainiertes Netz speichert in komprimierter Form die wesentlichen Muster einer Datenmenge. Auf diese Weise können neue Datenpunkte effizient eingeordnet werden.

Ein neuronales Netz, das etwa darauf trainiert wurde, Hasen auf Bildern zu erkennen, kann neue Pixelarrays entsprechend analysieren und entscheiden, ob ein Hase dargestellt ist oder nicht. Entsprechende Verfahren finden breite Anwendung, etwa bei der automatisierten Sortierung von Objekten auf Fließbändern oder allgemeiner in der computergestützten Bildverarbeitung (Computer Vision).

Solche Techniken eröffnen vielfältige Möglichkeiten zur Automatisierung datenverarbeitender Prozesse. Wo eine erkennbare Struktur im Eingangsmaterial vorhanden ist, können neuronale Netze Muster extrahieren und Entscheidungen automatisiert ableiten – oft schneller und konsistenter, als es einem menschlichen Bearbeiter möglich wäre.

Während neuronale Netze vor allem auf die Approximation bestehender Datenstrukturen ausgelegt sind, richtet sich das aktuelle Interesse zunehmend auf Verfahren, die darüber hinaus eigenständiges Entscheidungsverhalten erlernen und neue Inhalte generieren können. Zwei Technologien stehen dabei im Mittelpunkt: das verstärkende Lernen (Reinforcement Learning, RL) und die Transformer-Architektur.

Reinforcement Learning verfolgt das Ziel, die optimale Handlungsstrategie eines Agenten in einer dynamischen Umgebung zu bestimmen. Innerhalb eines Zustandsraums wird ein Agent simuliert, der je nach Situation verschiedene Aktionen ausführen kann, die ihn in neue Zustände überführen. Für jede Aktion oder jeden erreichten Endzustand erhält er eine Belohnung oder eine Strafe. Die Herausforderung besteht darin, jene Verhaltensweise zu erlernen, die langfristig den höchsten Gesamterfolg – gemessen an der akkumulierten Belohnung – erzielt.

Das sogenannte Steuerungs- oder genauer Markowsche-Entscheidungsproblem lässt sich auch ohne KI lösen, etwa mithilfe des Bellman-Algorithmus der dynamischen Programmierung. Dieses Vorgehen setzt allerdings vollständige Kenntnisse über Zustandsraum und Belohnungsstruktur voraus. Viele reale Entscheidungsprobleme sind hingegen dadurch gekennzeichnet, dass diese Informationen nur teilweise bekannt oder vollständig unbekannt sind. In solchen Fällen muss der Agent die Belohnungsstruktur selbst erkunden, indem er Handlungen ausprobiert, Rückmeldungen erhält und daraus schrittweise ein Modell seiner Umwelt aufbaut. Das gängigste Lernverfahren wird als Q-Learning bezeichnet und oftmals um ein Maschinenlernverfahren zum sogenannten Deep-Q-Learning ergänzt.

Ein prominentes Beispiel für die Anwendung solcher Verfahren ist das autonome Fahren: Fahrzeuge müssen eigenständig optimale Entscheidungen treffen – etwa beim Erkennen von Hindernissen, dem Umfahren von Objekten oder der Anpassung an komplexe Verkehrsstrukturen – ohne dass ihnen im Vorhinein sämtliche Situationen explizit einprogrammiert wurden. Stattdessen lernen sie, auf Basis systematischer Erkundung und Bewertung eigene Strategien zu entwickeln.

Neben dem verstärkenden Lernen hat sich in den letzten Jahren eine zweite Technologie als besonders prägend erwiesen: die sogenannte Transformer-Architektur. Sie bildet die Grundlage der sogenannten Large Language Models (LLMs) wie ChatGPT, DeepSeek, Llama, Gemini oder Mistral – Systeme, die heute zunehmend in der Lage sind, Texte zu generieren, Inhalte zu strukturieren und Aufgaben eigenständig zu bearbeiten.

Transformer kombinieren mehrere tiefgreifende Innovationen im Bereich des maschinellen Lernens. Einerseits werden Wörter in einen hochdimensionalen semantischen Raum eingebettet. In diesem Raum werden Wörter so positioniert, dass semantisch ähnliche Begriffe räumlich nahe beieinanderliegen. Andererseits ermöglichen ein sogenannter Attention-Mechanismus und der zusätzliche Einsatz neuronaler Netze, innerhalb dieser Strukturen relevante Beziehungen zwischen Wörtern dynamisch zu gewichten und so das nächste Wort eines Satzes vorherzusehen.

Auf diese Weise lernen Transformer-Modelle nicht nur Grammatik und Syntax, sondern auch komplexe semantische Zusammenhänge: welche Begriffe häufig gemeinsam auftreten, welche Konzepte miteinander assoziiert sind, und welche Strukturen typische Bedeutungsmuster tragen.

Der entscheidende Durchbruch mit dem Artikel "Attention is All You Need" liegt gerade einmal acht Jahre zurück. Seither hat sich das Anwendungsspektrum von Transformern rasant erweitert: Neben der Textverarbeitung werden sie heute auch zur Generierung von Bildern, Musik und Videos eingesetzt – und finden zunehmend Anwendung in hochspezialisierten Bereichen wie der Analyse genetischer Sequenzen bei der Impfstoff- und Medikamentenentwicklung.

Wohin führt das?

Trotz ihrer technischen Eleganz und Leistungsfähigkeit entfalten Systeme des maschinellen Lernens ihre tiefgreifende Wirkung nicht im Labor, sondern in ihrer Anwendung auf gesellschaftliche Prozesse. Ihre strukturellen Eigenheiten – etwa die Tendenz, bestehende Muster aus Trainingsdaten zu reproduzieren – wirken weit über technische Kontexte hinaus und greifen zunehmend in soziale, politische und kulturelle Dynamiken ein.

Hierbei kommt es zu einem Problem der Automatisierung: Gesellschaftliche Systeme verfügen normalerweise über eingebaute Korrekturmechanismen, die extreme Tendenzen abmildern und auf Fehlentwicklungen reagieren. Automatisierte KI-Systeme hingegen reproduzieren bestehende Strukturen unmittelbar und systematisch – und setzen dadurch diese natürlichen Korrekturmechanismen oft außer Kraft. Sie reproduzieren nicht einfach neutral vorhandene Zustände – sie beschleunigen, verzerren und verfestigen Tendenzen auf eine Weise, die tiefgreifende Folgen für die gesellschaftliche Selbstregulierung haben kann.

Schauen wir uns diese Effekte anhand zweier Beispiele genauer an: dem chinesischen Sozialkreditsystem und dem sogenannten "Stepsister-Porn-Effekt".

Ein markantes Beispiel für die gesellschaftliche Wirkung KI-gestützter Systeme ist das chinesische Sozialkreditsystem. In westlichen Diskursen wird es häufig als Inbegriff eines totalitären Überwachungsstaates dargestellt. Doch diese Sichtweise greift zu kurz.

Das Sozialkreditsystem dient in erster Linie dazu, das Verhalten von Bürgern und Unternehmen systematisch zu bewerten und daraus eine soziale Reputation zu erstellen. Individuen mit hoher Bewertung erhalten bevorzugten Zugang zu Ressourcen wie Arbeitsplätzen, Krediten oder Reisemöglichkeiten; umgekehrt können niedrige Bewertungen zu Einschränkungen im gesellschaftlichen Leben führen. Dazu werden Technologien des maschinellen Lernens genutzt, um große Mengen individueller Verhaltensdaten zu erfassen, zu bewerten und in kompakte soziale Kennzahlen zu übersetzen. Das formalisiert, standardisiert und ermöglicht eine algorithmische Verwaltung von Reputation – mit weitreichenden Konsequenzen für das gesellschaftliche Leben.

Offiziell begründet die chinesische Regierung das System mit dem Ziel, gesellschaftliches Vertrauen zu fördern. Tatsächlich spiegelt es eine wesentlich tiefere Problemlage wider: die Sicherung von Vertrauen in einer zunehmend anonymen und mobilen Gesellschaft. Diese Herausforderung ist nicht spezifisch chinesisch, sondern eine strukturelle Begleiterscheinung moderner sozialer Ordnungen.

Vertrauen bildet die Grundlage jeder komplexen Gesellschaft. Ohne die Erwartung, dass Vereinbarungen eingehalten, Versprechen erfüllt und soziale Normen beachtet werden, wäre stabile Kooperation unmöglich. Die Frage, wie Gesellschaften Vertrauen herstellen, ist daher grundlegend für ihr Funktionieren – und sie wurde zu unterschiedlichen Zeiten auf sehr unterschiedliche Weise beantwortet, wenn auch stets mit den gleichen Mitteln: der Bürgschaft.

In traditionellen, stammesbasierten Gesellschaften wurde das Vertrauensproblem durch unmittelbare, explizite soziale Bürgschaft gelöst. Individuen handelten nicht primär als isolierte Akteure, sondern als Repräsentanten ihrer Familien oder Gemeinschaften. Die Gruppe bürgte für das Verhalten ihrer Mitglieder und sanktionierte Abweichungen streng, um ihre kollektive Reputation zu schützen.

Ehre fungierte dabei als zentraler sozialer Wert: Das Ansehen der Familie oder Gemeinschaft war unmittelbar mit dem Verhalten des Einzelnen über einen Ehrenkodex verknüpft, der das Verhalten normkonform regelt. Wer die Normen durch unehrenhaftes Verhalten verletzte, gefährdete daher nicht nur seine eigene Stellung, sondern die gesamte Gruppe. In extremen Fällen führte diese Dynamik zu drastischen Praktiken wie Ehrenmorden, die die soziale Integrität der Gemeinschaft wahren sollten.

Mit der Entwicklung moderner, hochmobiler Gesellschaften gerieten diese traditionellen Bürgschaftssysteme unter Druck. Die zunehmende Urbanisierung, die gesteigerte Mobilität und die Entkopplung persönlicher Bindungen machten anonyme Interaktionen zur Regel. Menschen mussten mit Fremden kooperieren, ohne auf die Garantien persönlicher Reputation oder gruppenbasierter Solidarität zurückgreifen zu können.

Zugleich verschärfte sich das grundlegende Vertrauensproblem sogar. Moderne Gesellschaften bedürfen der wechselseitigen Kooperation von Personen, die sich nicht kennen und keine stabilen sozialen Bindungen teilen. Als Antwort darauf entstanden neue, formalisierte Formen der Bürgschaft: Qualitätssiegel auf Produkten, Zertifikate von Institutionen, Online-Bewertungssysteme oder staatliche Regulierungen übernehmen heute die Funktion, Vertrauen herzustellen. Wo früher persönliche Beziehungen Sicherheit boten, erfüllen nun institutionelle und technologische Systeme diese Aufgabe.

Ein besonders anschauliches Beispiel für moderne, institutionalisierte Formen der Bürgschaft ist die Schufa in Deutschland. Ursprünglich als Zusammenschluss von Energieversorgern gegründet, verfolgte sie das Ziel, Zahlungsausfälle bei der Belieferung neuer Kunden zu verhindern. Dazu wurden Informationen über bestehende Vertragsverhältnisse gesammelt und genutzt, um die Wahrscheinlichkeit künftiger Zahlungsunfähigkeit einzuschätzen.

Im Laufe der Zeit entwickelte sich daraus ein umfassendes System der Bonitätsbewertung: Wer in der Vergangenheit zuverlässig Verträge erfüllte, galt als kreditwürdig; wer Zahlungsverpflichtungen nicht einhielt oder sich auffällig verhielt, riskierte eine negative Bewertung.

Mittlerweile fließen zahlreiche weitere Informationen in die Bonitätsprofile ein – von Mobilfunkverträgen über Bankbeziehungen bis hin zu Zahlungsausfällen bei Versandhändlern. Die Schufa erfüllt damit eine zentrale Funktion innerhalb moderner Gesellschaften: Sie ersetzt persönliche Reputation durch algorithmisch generierte Wahrscheinlichkeitsmodelle. Statt familiärer oder gemeinschaftlicher Bürgschaften entscheidet ein formales Bewertungssystem über den Zugang zu Ressourcen wie Wohnungen, Krediten oder Arbeitsplätzen.

Dass solche Systeme nicht nur symbolischen, sondern sehr realen Einfluss auf soziale Teilhabe und Lebensgestaltung haben, belegen empirische Untersuchungen. So zeigt eine umfassende Metaanalyse einschlägiger Studien zur Bonitätsbewertung, dass Scoring-Systeme wie die der Schufa in der Praxis eine erhebliche Steuerungswirkung entfalten: Sie beeinflussen nicht nur den Zugang zu Finanzdienstleistungen, sondern wirken sich mittelbar auch auf berufliche Chancen, Wohnsituation und soziale Mobilität aus. Besonders deutlich zeigt sich die gesellschaftliche Wirkung an scheinbar nebensächlichen Kriterien wie der Häufigkeit von Wohnortwechseln. Personen, die häufig umziehen – etwa aufgrund beruflicher Flexibilität oder unsteter Lebensphasen –, erhalten bei der Schufa oft eine schlechtere Bonitätsbewertung.

Sowohl das chinesische Sozialkreditsystem als auch die Schufa adressieren somit die Herausforderung, in anonymen, komplexen Gesellschaften Vertrauen herzustellen, indem sie individuelles Verhalten formal bewerten und sichtbar machen. Dabei entfalten sie eine vergleichbare soziale Dynamik. Sowohl das chinesische System als auch die Schufa agieren heute als sozialkybernetische Systeme: Sie sammeln große Mengen individueller Verhaltensdaten, bewerten diese algorithmisch – zunehmend unter Einsatz maschineller Lernverfahren – und steuern so die gesellschaftliche Verteilung von Chancen und Risiken, ohne offenen Zwang auszuüben.

Gerade die Schufa ist längst kein statisches Register mehr, sondern ein dynamisches KI-gestütztes Modell. Durch die kontinuierliche Anpassung und Gewichtung von Kriterien entsteht ein flexibles, sich selbst aktualisierendes System sozialer Bewertung. Was ursprünglich als Schutzmechanismus gegen Zahlungsausfälle begann, hat sich zu einer algorithmischen Infrastruktur entwickelt, die Lebenswege vorstrukturiert und Verhalten implizit lenkt.

Unabhängig von ihrer politischen Einbettung transformieren solche Systeme die Grundbedingungen sozialer Kooperation. Sie ersetzen die persönliche Bürgschaft traditioneller Gemeinschaften durch eine automatisierte, oft intransparente Form institutionalisierter Kontrolle. Die offene Gesellschaft gerät dadurch unter einen subtilen Anpassungsdruck: Vielfalt wird nicht explizit verboten, aber Abweichungen von Normlebensläufen und standardisierten Lebensformen werden systematisch benachteiligt.

Der Einsatz von KI-Systemen führt zu einem weiteren prominenten Effekt, der soziale Ambiguität bekämpft, indem soziale Muster algorithmisch verstärkt werden. Dieser Effekt wurde fälschlich als „Filterblasen“ beschrieben, weil er lediglich den sozialen Medien zugeordnet und die Tiefe seiner Wirkung übersehen wurde. Ich nenne diesen Effekt den „Stepsister-Porn-Effekt“. Dieser kuriose Name bedarf einer Erklärung.

Zu den populären Erzählungen in Deutschland gehört, dass wir das Internetzeitalter verschlafen hätten, weswegen es keine großen deutschen Internetunternehmen gäbe. Das stimmt so nicht ganz. Der Unternehmer Fabian Thylmann gehört im Gegenteil zu den großen Innovatoren des Internets. Durch die Entwicklung von neuartigen Formen der Einbettung von Werbung auf Internetseiten und neuen Ansätzen zur Analytik gelang es ihm, ein Unternehmen zu formen, von ihm Manwin genannt und nach einer zwischenzeitlichen Umbenennung in Mindgeek mittlerweile unter dem Namen Aylo firmierend, das nach eigener Aussage bezüglich des Datenvolums zu den fünf größten Internetanbietern gehört und in seinem Segment nahezu Monopolstellung besitzt. Dieser Umstand wird gerne übergangen, weil der deutsche Beitrag zum Internetzeitalter die Pornographie ist. Von den fünf größten Pornographie-Webseiten gehören drei zu Aylo. Ähnlich marktbeherrschend ist das Unternehmen bei der Produktion der Filme.

Aufgrund unklarer Umstände verließ Thylmann das Unternehmen 2013. In einem seiner seltenen Interviews beschrieb er ein Phänomen, das sich auf den Webseiten seines vormaligen Unternehmens nach seinem Ausscheiden eingestellt hatte. Eine zentrale Innovation der Plattformökonomie, die in Thylmanns Unternehmen besonders stark umgesetzt wurde, besteht darin, Medieninhalte zur besseren Navigation und Analytik stark zu kategorisieren und zu clustern – ein Prinzip, das sich prinzipiell bei allen Online-Medienunternehmen findet.

Im Fall der Aylo-Webseiten erfolgt diese Clusterung besonders nutzernah: Einerseits werden klassische Präferenzen bezüglich Darstellern erfasst, andererseits Themenfelder, die sich auf spezielle Kontexte oder Fetische beziehen.

Ein immer wieder nachgefragter Bereich sind Inhalte mit Inzest-Thematiken, die vermutlich gerade durch das zugrundeliegende Tabu besonderen Reiz entfalten. Um das Tabu nicht zu deutlich zu verletzen, werden diese Inhalte typischerweise als Szenarien zwischen Stiefgeschwistern oder ähnlichen Konstellationen inszeniert.

Die Nachfrage nach solchen Pseudo-Inzest-Inhalten unterliegt Moden: Sie schwankt über die Zeit. Um 2010 jedoch verzeichnete diese Kategorie einen auffälligen Anstieg der Abrufzahlen – ein Effekt, der auf eine Reihe technologischer Neuerungen traf.

Gerade in dieser Phase verbreiteten sich KI-gestützte Empfehlungssysteme (recommender systems) in Online-Medien und -Shops. Solche Systeme erstellen auf Basis individueller Nutzungsverläufe Profile, anhand derer anderen Nutzern personalisierte Inhalte vorgeschlagen werden. Voraussetzung hierfür war eine zunehmend strukturierte und automatisierte Erfassung von Nutzungsdaten, d.h. die sogenannte „Analytik“, wofür in dieser Zeit sogenannte Data Warehouses entwickelt wurden – Technologien, die auch maschinelles Lernen einsetzten, um Rohdaten effizient auszuwerten und zu klassifizieren. Die Auswertung und Analyse des Nutzungsverhalten wurde somit systematisiert und automatisiert und zugleich zur Basis für Nutzungsempfehlungen.

Im Fall der Aylo-Plattformen kam ein zusätzlicher Faktor hinzu: Die Stellung im Produktionsprozess ermöglichte es, die Filmproduktion eng mit den Ergebnissen der Analytik zu verzahnen. Dadurch konnten neue Trends nicht nur schneller erkannt, sondern auch schneller aufgegriffen werden, indem gezielt mehr Inhalte zu nachgefragten Themen erstellt wurden.

Der Effekt war eine klassische algorithmische Feedbackschleife: Der Anstieg der Nachfrage nach Pseudo-Inzest-Inhalten spiegelte sich in den Nutzerdaten wider, wurde durch die Empfehlungssysteme priorisiert und führte dazu, dass diese Inhalte häufiger vorgeschlagen wurden. Die verstärkte Sichtbarkeit erhöhte wiederum den Konsum dieser Inhalte, was den Trend in den Analysen weiter verstärkte. Gleichzeitig reagierte die Produktion auf die hohe Nachfrage, indem sie verstärkt entsprechende Inhalte bereitstellte.

So beschleunigte sich der Prozess selbst: Je mehr entsprechende Inhalte produziert und vorgeschlagen wurden, desto stärker stieg ihr Konsum – und je stärker sie konsumiert wurden, desto mehr Inhalte dieser Art entstanden. Die algorithmische Logik führte damit nicht einfach zu einer Spiegelung existierender Präferenzen, sondern zu ihrer systematischen Verstärkung und Reproduktion. Zwischenzeitlich hatte das zu einer Situation geführt, in der nahezu alle pornographischen Inhalte solche Inzest-Szenarios thematisierten.

Der Effekt ist jedoch keineswegs auf Pornographie beschränkt. Die beschriebene Feedbackschleife ist mittlerweile omnipräsent. Überall dort, wo redaktionelle Empfehlungssysteme, Nutzungsanalytik und Medienproduktion zusammenwirken – also faktisch in jedem Online-Medienunternehmen –, entstehen entsprechende Verstärkungseffekte.

Besonders deutlich zeigt sich dies im Journalismus: Artikel, die emotionalisieren, einen leicht verständlichen Sachverhalt präsentieren und multimedial aufbereitet sind, werden systematisch häufiger und intensiver konsumiert als komplexere oder differenziertere Beiträge. Diese Präferenz schlägt sich unmittelbar in den Analysetools nieder – und beeinflusst über die algorithmischen Priorisierungen wiederum die Gestaltung künftiger Inhalte.

Ein besonders prägnantes Beispiel für die Veränderung durch algorithmische Steuerung bietet die Umstellung der Recommendation Engine der Videoplattform YouTube im Jahr 2012[1]. YouTube ist werbefinanziert und besitzt daher ein starkes wirtschaftliches Interesse, Nutzer möglichst lange auf der Plattform zu halten.

Das ursprüngliche Empfehlungssystem bewertete die Attraktivität von Inhalten vor allem danach, wie viele Abonnenten der Ersteller hatte. Nutzer scharten sich um Produzenten, die konsistent interessante Inhalte lieferten, was ein hohes Maß an Vertrauen erzeugte. Allerdings förderte dieses System weniger die direkte Bindung an die Plattform: Inhalte wurden über längere Zeiträume verteilt konsumiert, und die Nutzung blieb fragmentiert.

Mit der Umstellung setzte YouTube eine neue Logik durch, die inzwischen Industriestandard geworden ist: Entscheidend war nun nicht mehr der Status des Produzenten, sondern das konkrete Nutzerverhalten gegenüber einzelnen Videos. Bewertet wurde etwa, wie lange ein Video im Verhältnis zu seiner Gesamtlänge angesehen wurde, sowie die Zahl und Intensität der Nutzerinteraktionen wie Kommentare und Bewertungen.

Die Folgen dieser Neuausrichtung waren tiefgreifend: Formate, die innerhalb kurzer Zeit starke emotionale Reaktionen hervorriefen und Zuschauer möglichst lange fesselten, gewannen algorithmische Priorität. Besonders begünstigt wurden Videos von etwa zehn Minuten Länge, die kontroverse Themen emotionalisierend behandelten und Reaktionen provozierten.

Dies führte zu einer strukturellen Evolution der Plattform: Produzenten, die sich auf diese Mechanik einstellten, erhielten erhöhte Sichtbarkeit und Reichweite, während andere zunehmend marginalisiert wurden. Daher ist es auch kein Zufall, dass sich auf YouTube eine Community bildete, die die Wahlkampagne Donald Trumps aktiv unterstützte. Emotionalisierende Darstellungen kontroverser Themen erwiesen sich sowohl für die Plattform als auch für die Produzenten als besonders effiziente Mittel der Nutzerbindung und monetären Aufmerksamkeit.

Allerdings gelten dieselben Verstärkungseffekte längst auch für etablierte Medien.
Die zunehmend emotionalisierende und moralisierende Berichterstattung ist keine reine Strategie, sondern mindestens teilweise ein Resultat der technischen Bedingungen.
Was heute häufig als "Haltungsjournalismus" kritisiert wird, ist im Kern eine Folge der algorithmischen Aufmerksamkeitsökonomie.

Einerseits verdrängen Online-Medien traditionelle Formate durch bessere Verfügbarkeit und höhere Taktfrequenz – wer sollte etwa in der Süddeutschen Zeitung noch einmal lesen wollen, was er bereits am Vortag auf Spiegel Online umfassend konsumiert hat?
Andererseits werden Online-Medien zwangsläufig über Recommendations und Analytik gesteuert. Emotionalisierende Artikel erzielen die meisten Interaktionen, erscheinen in den Analytiksystemen als besonders erfolgreich – und werden folglich von Redaktionen prominenter platziert und verstärkt reproduziert.

Problematischer noch: Was als technisches Artefakt begann, wird schleichend zur Norm dessen, was als "guter Journalismus" oder mindestens als „wirtschaftlich erfolgreicher Journalismus“ gilt. Über jede Äußerung Donald Trumps einen empörten Kommentarartikel zu veröffentlichen, ist keine bewusste redaktionelle Entscheidung mehr – sondern eine strukturelle Konsequenz algorithmischer Verstärkungslogiken.

Viele jüngere gesellschaftliche Entwicklungen lassen sich ohne den Anpassungsdruck durch Analytik- und Empfehlungssysteme kaum verstehen. Die Dynamik begünstigt Prozesse der Radikalisierung, sowohl innerhalb der gesellschaftlichen Mitte als auch an den Rändern. Denn Emotionalisierung und Moralisierung funktionieren nur auf der Basis geteilter Überzeugungen. Daher verstärken sie bestehende Lagerbindungen und verschärfen Differenzen.

Das Resultat ist doppelt problematisch: Einerseits werden abweichende Meinungen zunehmend systematisch ausgeschlossen, was gesellschaftlich desintegrierend wirkt. Andererseits verengt sich der Debattenkorridor – nicht primär durch direkte Zensur, sondern durch algorithmische Verstärkung genau jener Zuspitzungen, die bei einem gegebenen Publikum maximale Resonanz versprechen.

Diese Verschiebung lässt sich nicht nur an Wahlumfragen ablesen, sondern auch an der Sprache des öffentlichen Diskurses: Für nahezu jede Form der Abweichung existiert heute ein etablierter Schmähbegriff – "Schwurbler", "Covidiot", "Lumpenpazifist" und andere. Gleichzeitig wächst die Angst, durch unbedachte Äußerungen stigmatisiert zu werden – etwa „als Nazi bezeichnet“ zu werden –, da die Mechanismen der Aufmerksamkeit genau jene Begriffe und Narrative bevorzugen, die maximale emotionale Aufladung garantieren.

Was macht man da?

Die beschriebenen Verstärkungseffekte datengetriebener Medien sind tiefgreifend – und sie können radikale Reflexe auslösen, etwa sie Vorstellung, sich vollständig aus technologisch dominierten Öffentlichkeiten zurückzuziehen. Dieser Impuls entspricht den Vorstellungen von Technikkritikern vom Schlage eines Ted Kaczynski oder Jacques Ellul: dem Wunsch, dem Eigenleben der Technik durch Rückzug zu entkommen.

Dieser Reflex ist nachvollziehbar, verfehlt jedoch die Struktur des Problems. Technologische Systeme entwickeln tatsächlich einen Eigensinn: Sie folgen inneren Logiken, die sich aus ihrem Aufbau, ihrem Zweck und ihrer Betriebsweise ergeben. Aber dieser Eigensinn bedeutet nicht, dass sie Gesellschaften in völlig neue Richtungen lenken. Vielmehr verstärken sie bestehende Tendenzen und verschärfen Konflikte, indem sie tradierte Kontroll- und Ausgleichsmechanismen außer Kraft setzen.

Besonders sichtbar wird dies im Bereich der gesellschaftlichen Polarisierung. Datengetriebene Medienlogiken bevorzugen Inhalte, die starke emotionale Reaktionen hervorrufen. Komplexe, differenzierte oder moderierende Stimmen werden systematisch benachteiligt, weil sie weniger unmittelbare Resonanz erzeugen. Technologische Systeme dieser Art verringern so die Selbstkorrekturfähigkeit der öffentlichen Debatte – nicht, weil sie Polarisierung intendieren, sondern weil ihre interne Logik emotionalisierte, konfliktträchtige Inhalte algorithmisch und wirtschaftlich belohnt.

Andererseits ist die Funktionsweise der Onlinemedien nicht die eigentliche Ursache der gesellschaftlichen Polarisierung. Die nach Wahlen dargestellten Karten mit Parteipräferenzen und die daran sichtbare geographische Gliederung der gesellschaftlichen Polarisierung folgt ziemlich genau der Entwicklung des Lebensstandards in den letzten Jahrzehnten. Das deutliche Absinken des Lebensstandards in der westlichen Welt und die Wiederkehr existenzieller Probleme, wie der Verfügbarkeit von Wohnraum, ärztlicher Versorgung oder öffentlicher Verkehrsinfrastruktur, erlauben eine leichte Begründung des „Trends zur Polarisierung“.[2]

Die kombinierte Dynamik hat jedoch tiefgreifende soziale Folgen. Die Struktur der Medien trägt dazu bei, dass sich verschiedene gesellschaftliche Gruppen kommunikativ voneinander abkoppeln. Überspitzt gesagt: Der frustrierte Arbeitslose aus der Lausitz und der hippe Hauptstadtjournalist teilen so wenige Alltagserfahrungen, dass sämtliche kommunikativen Brücken zwischen ihren Lebenswelten kollabieren.

Was früher durch gemeinsame institutionelle oder kulturelle Bezugspunkte – etwa nationale Medienöffentlichkeiten oder politische Massenparteien – noch überbrückt werden konnte, wird durch datengetriebene Medienlogiken zunehmend zerfasert.
Moderation und Vermittlung werden nicht algorithmisch belohnt; Polarisierung und Empörung hingegen schon.

Damit wird ein zentrales Element demokratischer Gesellschaften beschädigt: die Fähigkeit, soziale Missstände überhaupt wahrzunehmen und politisch zu korrigieren. Wenn Kommunikationskanäle zwischen gesellschaftlichen Gruppen abbrechen, bleiben tieferliegende politische Probleme unsichtbar – nicht, weil es an Lösungen mangelt, sondern weil sie nicht mehr als gemeinsame Realität erkannt werden.

Aber es passiert sogar noch mehr. Die Verstärkung gesellschaftlicher Spannungen durch technologische Systeme bleibt nicht ohne Reaktion. Gesellschaftliche Subsysteme – Politik, Medien, Verwaltung – reagieren auf die Veränderungen, indem sie neue Legitimationsmuster entwickeln. Ein zentrales Muster dieser Reaktion ist die Externalisierung von Verantwortung: Anstatt die Ursachen für gesellschaftliche Polarisierung, sinkendes Vertrauen oder soziale Desintegration im eigenen Handlungsbereich zu suchen, wird die Schuld nach außen verlagert – auf technologische Systeme, auf Desinformation, auf externe Akteure.

Damit entsteht eine neue Form gesellschaftlicher Koevolution: Die gesellschaftlichen Subsysteme nehmen die technologisch verstärkten Spannungen auf, integrieren sie in ihre eigene Operation und schaffen daraus neue Legitimitätsressourcen. Technologie wird nicht nur als Problem wahrgenommen, sondern zunehmend auch als Erklärungsmuster genutzt, um eigene Defizite zu verdecken, als Sündenbock sozusagen.

Ein besonders anschauliches Beispiel für diese Dynamik bietet die aktuelle Debatte über "Desinformation". Ursprünglich richtete sich die Sorge vor Desinformation auf eine reale Gefahr: Autoritäre Regime, die versuchen, über staatlich gesteuerte Propaganda und Informationslenkung die Deutungsmuster ihrer eigenen Bevölkerung zu kontrollieren und kritische Öffentlichkeiten zu unterdrücken. Doch in der gegenwärtigen Diskussion demokratischer Gesellschaften vollzieht sich eine bemerkenswerte Verschiebung: Nicht mehr der staatliche Zugriff auf Informationen oder die Kontrolle öffentlicher Diskurse steht im Mittelpunkt der Sorge, sondern, dass Bürger selbst durch fehlerhafte, abweichende oder alternative Darstellungen die Stabilität gefährden könnten.

Auch die häufig bemühte Erzählung von Trollfabriken und fremder Einflussnahme trägt zu dieser Umdeutung bei: Der Eindruck entsteht, als ginge die Hauptbedrohung des Informationsflusses von externen Akteuren oder von Bürgern selbst aus – und nicht von mächtigen, institutionellen Akteuren innerhalb der Gesellschaft.

Wenn staatliche Institutionen wie die EU-Kommission, die formal höchste Behörde Europas, oder das Weltwirtschaftsforum vor Desinformation warnen, verdeutlicht dies die Tiefe dieser Umkehrung: Statt staatliche Macht beim Umgang mit Information kritisch zu reflektieren, wird der Schutz staatlicher Institutionen vor dem Informationsfluss der Bürger zum neuen politischen Anliegen.

Durch diese Umdrehung entsteht ein neuer Legitimationsmechanismus: Statt den gesellschaftlichen Vertrauensverlust als Folge realer politischer und sozialer Probleme anzuerkennen, wird Misstrauen selbst zur Bedrohung erklärt – vorgeblich verursacht durch Desinformation, die aus der Bevölkerung selbst stammt. So können strukturelle Krisen – etwa wirtschaftliche Ungleichheit, politische Entfremdung oder institutionelles Versagen – externalisiert werden. An ihre Stelle tritt die Erzählung, dass die gesellschaftliche Instabilität nicht durch systemische Probleme verursacht werden, sondern durch fehlerhafte oder irrige Meinungsäußerungen der Bürger.

In dieser Dynamik wird Künstliche Intelligenz nicht nur als technologisches Phänomen wahrgenommen, sondern als politisches Deutungsmuster genutzt. Sie erfüllt einen Zweck als Sündenbock und Projektionsfläche, als eine Blackbox, die vermeintlich die politischen Institutionen beschädigt. Sie bietet eine Erklärung dafür, warum Vertrauen schwindet, Konflikte eskalieren und Institutionen an Bindungskraft verlieren.

Gerade in dieser Verschiebung zeigt sich die neue Logik gesellschaftlicher Koevolution besonders deutlich: Technologische Verstärkungseffekte werden aufgenommen, politisch neu gerahmt und zur Legitimation eigener Interessen genutzt – etwa zur Ausweitung von Überwachungs- und Regulierungsbefugnissen. Was als Schutz vor äußeren Bedrohungen begann, wird so zur Rechtfertigung innergesellschaftlicher Kontrollansprüche. Denn wo Misstrauen selbst als Gefahr begriffen wird, entsteht politischer Druck, den öffentlichen Diskurs enger zu kontrollieren und abweichende Meinungen frühzeitig zu sanktionieren.

In dieser Dynamik liegt ein Risiko für offene Gesellschaften. Eine politische Kultur, die das Vertrauen in Institutionen durch Kontrolle und Selektion von kommunikativen Beiträgen wiederherstellen will, gerät leicht in einen repressiven Sog. Nicht mehr der freie Austausch von Argumenten und Perspektiven, sondern das Aussortieren „falscher“ oder „gefährlicher“ Informationen und Meinungen wird zum vorrangigen Ziel.

Dieser Paradigmenwechsel verändert die Struktur öffentlicher Debatten: Der Raum legitimer Meinungsäußerung verengt sich. Diskursive Vielfalt wird zunehmend durch den Maßstab ersetzt, ob Äußerungen bestehende Deutungsmuster bestätigen oder gefährden. Gleichzeitig wird die Unterscheidung zwischen absichtlicher Desinformation, fehlerhafter Einschätzung und legitimer Kritik zunehmend unscharf. Wenn dominante Narrative der Maßstab und zugleich das Beurteilungssystem sind, etwa durch die zugehörigen Experteneinschätzungen, wird es schwer zu klären, wo bloße inhaltliche Kritik aufhört und verschwörerische Desinformation beginnt. Wo aber dominante Narrative unhinterfragt bleiben und abweichende Positionen vorschnell als Desinformation klassifiziert werden, verschiebt sich das Gewicht von inhaltlicher Auseinandersetzung zu normativer Abgrenzung.

Gerade bei komplexen und kontroversen Themen ist diese Gefahr besonders groß: In Bereichen wie Gesundheitspolitik, Wirtschaft, Sicherheit oder Klimafragen verschwimmen die Grenzen zwischen Wissenschaft, Politik und öffentlicher Deutung ohnehin. Eine Debattenkultur, die Unsicherheiten und Widersprüche nicht mehr aushält, sondern zu kontrollieren versucht, schwächt die Selbstkorrekturfähigkeit demokratischer Gesellschaften. Was als Schutz vor Falschinformation beginnt, droht so zur Erosion der diskursiven Offenheit zu führen – jenes Elements, auf dem die Fähigkeit freier Gesellschaften beruht, eigene Fehler zu erkennen und zu korrigieren.

Was sollte stattdessen passieren?

Es ist ein bemerkenswertes Phänomen, dass die bessere Verfügbarkeit von Information so unmittelbar in ihr Gegenteil umschlagen kann. Die Einführung KI-gestützter Systeme trägt dazu bei, den öffentlichen Diskurs nicht nur zu erweitern, sondern zugleich neue Formen von Kontrolle und Einschränkung hervorzubringen. Dabei speist sich der gegenwärtige Sog in Richtung Regulierung und Zensur nicht bloß aus technologischen Entwicklungen. Auch ein generell konservativerer Zeitgeist trägt dazu bei.

Doch im Kern unterstützt die Verbreitung von KI-Technologien eine Tendenz zur Verschiebung demokratischer Diskursstrukturen – nicht aus technischer Notwendigkeit, sondern aufgrund der Eigenart der Technologie selbst. Maschinelles Lernen ist keine schwer zugängliche Hochtechnologie, sondern besticht gerade durch seine Einfachheit und Anpassungsfähigkeit. Diese Offenheit macht den großflächigen Einsatz von KI-Anwendungen möglich – und zugleich ihre zentrale politische Herausforderung sichtbar: Nicht die Technologie selbst lässt sich kontrollieren, sondern nur ihr jeweiliger Einsatz.

Das erschwert demokratische Kontrolle erheblich. Regulierungsinitiativen wie die EU-Verordnung zu Künstlicher Intelligenz[3] können lediglich Anwendungsbereiche adressieren – etwa das Verbot staatlicher Sozialkreditsysteme. Wenn die gleichen Technologien hingegen im gewerblichen Bereich unreguliert bleiben, verschieben sich lediglich die Gefahrenpotenziale: Staatliche Überwachung wird zunehmend privatisiert. Ein typisches Beispiel hierfür ist die Nutzung von Palantir-Systemen durch deutsche Sicherheitsbehörden[4], bei denen die Aufbereitung sensibler Daten durch ein Unternehmen erfolgt, das über zweifelhafte politische Verbindungen verfügt.

Dabei tritt eine zentrale Schwierigkeit auf: Demokratische Kontrolle ist nur so stark wie die öffentliche Aufmerksamkeit für den Einsatz technologischer Systeme. Wo diese Aufmerksamkeit fehlt, entstehen neue Räume für Intransparenz, Einflussnahme und strukturelle Machtverschiebungen.

Die Tendenz, neue Technologien zuerst zur Verstärkung von Kontrolle einzusetzen, ist allerdings kein Zufall. In komplexen Gesellschaften sind Institutionen, die auf Steuerung und Überwachung angewiesen sind – etwa Sicherheitsbehörden –, naturgemäß schneller darin, technologische Innovationen zu adaptieren. Kontrolle benötigt Hilfsmittel. Wer mit der Sicherung von Ordnung, Gesetzestreue oder Systemstabilität betraut ist, hat einen strukturellen Anreiz, technologische Neuerungen rasch für eigene Zwecke zu erschließen. Doch diese Dynamik bedeutet keineswegs, dass Technologien ihrer Natur nach repressiv wären.

Der Einsatz von Technologien spiegelt soziale Strukturen wider, aber er determiniert sie nicht zwangsläufig. Genauso, wie neue Technologien Machtasymmetrien vertiefen können, können sie – bewusst gestaltet – auch Freiheitsräume erweitern und demokratische Teilhabe stärken.

Diese Perspektive eröffnet Spielräume: Es ist möglich, Technologien nicht nur zu kontrollieren, sondern auch zu gestalten – als Instrumente demokratischer Selbstermächtigung. Diese Möglichkeit lässt sich exemplarisch an der Idee eines öffentlich-rechtlichen, staatsunabhängigen Chatbots zeigen.

Ein solches System, finanziert durch öffentliche Mittel, aber institutionell unabhängig von politischer Einflussnahme, könnte jedem Bürger offen zugänglich gemacht werden.
Sein Zweck wäre nicht, Meinungen zu formen oder Informationen zu filtern, sondern – im Gegenteil – strukturierte und verständliche Informationen bereitzustellen.

Gerade bei Technologien des Natural Language Processing (NLP) bietet sich diese Chance besonders an. Ein öffentlich kontrolliertes Sprachmodell könnte darauf ausgerichtet werden, Faktenlagen transparent darzustellen und eine Referenzdarstellung zu schaffen.

Die Effekte eines solchen Systems wären erheblich:

• Die Abhängigkeit von privatwirtschaftlichen Informationsanbietern, insbesondere großen amerikanischen Technologiekonzernen, würde reduziert.
• Bürger hätten direkten Zugang zu einem Instrument, das ihnen eigenständige Recherche und Überprüfung von Behauptungen ermöglicht.
• Die Eintrittsschwelle zur eigenständigen Informationsverarbeitung würde erheblich sinken – und damit auch die Voraussetzungen für informierte Teilhabe am öffentlichen Diskurs.

Ein solches System wäre keine Garantie für gesellschaftliche Rationalität.
Aber es würde einen infrastrukturellen Rahmen schaffen, der demokratische Selbstermächtigung und diskursive Offenheit erleichtert, deutlich wahrscheinlicher macht als unter den Bedingungen monopolistischer Plattformstrukturen und der Macht tradierter Medienkonzerne und gerade dadurch wirkt.

Indem Bürger zumindest prinzipiell in die Lage versetzt würden, Informationen eigenständig abzurufen und zu verifizieren, würde sich die bisher enge Verknüpfung von Information und Interpretation lösen. Der Zugang zu Informationen wären nicht mehr zwangsläufig mit einem bestimmten Deutungsraster verknüpft, das durch journalistische, politische oder kommerzielle Interessen geprägt ist. Ein zentrales Monopol der vierten Gewalt – die simultane Bereitstellung von Informationen und ihrer Kontextualisierung kombiniert mit einem Framing – würde relativiert. Medien, politische Akteure und Aktivisten müssten sich stärker auf die argumentative Begründung partikularer Interpretationen stützen, anstatt sie implizit in der Informationsdarstellung zu verstecken.

Das hätte keinen eliminierenden Effekt auf politische Positionierungen oder parteiliche Framings. Aber es würde die Möglichkeit einschränken, zu sehr von einer Referenzdarstellung abzuweichen. Daher könnte ein solches System die gegenwärtigen Tendenzen zum Tribalismus, zur Polarisierung und zur Verhärtung des Freund-Feind-Denkens offensiv durchbrechen. Indem es die Voraussetzungen für eigenständige Informationsverarbeitung stärkt, würde es die Fähigkeit demokratischer Gemeinwesen zur Problemlösung, zur Selbstkorrektur und zur Pluralitätsbewahrung erheblich verbessern.

Was bleibt?

Karl Popper starb, bevor künstliche Intelligenz zu einem ernstzunehmenden Thema wurde. Von daher lässt sich nur spekulieren, was er wohl über KI gedacht hätte. Aber eines ist klar: Er wäre ein entschiedener Gegner des technokratischen und sozialkybernetischen Einsatzes von KI gewesen.

Die offene Gesellschaft beruht, wie Popper betont hat, auf der Fähigkeit zur Selbstkritik, zur Revision eigener Überzeugungen und zur Korrektur von Fehlentwicklungen.
Diese Fähigkeit ist kein Automatismus, sondern ein prekärer Prozess – angewiesen auf Transparenz, auf kontroverse Debatten und auf die Bereitschaft, divergierende Perspektiven auszuhalten.

Technologien wie Künstliche Intelligenz verändern nicht nur einzelne Lebensbereiche, sondern greifen tief in die Strukturen dieser Selbstkorrektur ein. Sie verstärken bestehende Muster, beschleunigen soziale Dynamiken und erzeugen neue Formen des sozialen Drucks, ohne offen autoritär zu wirken.

In einer solchen Konstellation entscheidet sich die Zukunft der offenen Gesellschaft nicht allein daran, ob technologische Innovationen stattfinden – sondern wie sie gestaltet, reguliert und in gesellschaftliche Rahmen eingebettet werden. Die Frage ist nicht, ob KI gefährlich ist, sondern ob Gesellschaften fähig bleiben, ihre eigenen technologischen Entwicklungen kritisch zu reflektieren und politisch zu steuern.

Eine offene Gesellschaft muss nicht technikfeindlich sein. Aber sie darf auch nicht techniknaiv sein. Sie muss Technologien als das begreifen, was sie sind: Instrumente, die sowohl zur Erosion wie zur Stärkung demokratischer Prozesse eingesetzt werden können.

Was heute auf dem Spiel steht, ist die Fähigkeit, zwischen diesen Optionen zu unterscheiden – und die institutionellen Voraussetzungen dafür zu schaffen, dass Technologien der Freiheit dienen, nicht ihrer Aushöhlung.

Die offene Gesellschaft lebt von Streit, von Widerspruch, von der Fähigkeit zur Kritik.
Gerade deshalb muss sie die Bedingungen verteidigen, unter denen kritische Öffentlichkeit möglich bleibt – insbesondere unter veränderten technologischen Bedingungen.

[1] "Covington, Paul; Adams, Jay; Sargin, Emre: Deep Neural Networks for YouTube Recommendations. In: Proceedings of the 10th ACM Conference on Recommender Systems (RecSys 2016)."

[2] Vgl. Manow, P. (2018). Die Politische Ökonomie des Populismus. Suhrkamp., Decker, F., & Brähler, E. (2019). Vertrauen in Demokratie: Politische Einstellungen nach zehn Jahren Wirtschaftskrise. Friedrich-Ebert-Stiftung. https://library.fes.de/pdf-files/fes/15621-20190822.pdf, Dorn, F., Gstrein, D., & Neumeier, F. (2024, März 13). Mehr Armutsgefährdung führt zu mehr Stimmen für Rechtsextreme. ifo Institut. https://www.ifo.de/pressemitteilung/2024-03-13/mehr-armutsgefaehrdung-fuehrt-zu-mehr-stimmen-fuer-rechtsextreme​Startseite

[3] "Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on Artificial Intelligence (Artificial Intelligence Act), COM(2021) 206 final."

[4] https://www.heise.de/news/Hessendata-Schwarz-Gruen-will-Einsatz-von-Antiterror-Software-ausweiten-4272285.html