AI-Alignment

Innerhalb der Forschung zur Künstlichen Intelligenz (KI, engl. AI, Artificial Intelligence) zielt die AI-Alignmentforschung darauf ab, KI-Systeme in Richtung menschlicher Ziele, Präferenzen oder ethischer Grundsätze zu lenken: Ein KI-System gilt als aligned (deutsch: „ausgerichtet“), wenn es die beabsichtigten Ziele fördert – demgegenüber ist es misaligned (deutsch: „fehlausgerichtet“), wenn es fähig ist, bestimmte Ziele zu erreichen, nicht aber die beabsichtigten.^[1]

Für KI-Programmierende kann es eine Herausforderung sein, ein KI-System zielauszurichten, da sich der Versuch, die gesamte Bandbreite der gewünschten und unerwünschten Verhaltensweisen zu spezifizieren, als schwierig herausstellen kann. Um diese Schwierigkeit zu umgehen, verwenden sie in der Regel einfachere stellvertretende Ziele, wie z. B. die „Erlangung menschlicher Zustimmung“. Dieser Ansatz kann jedoch zu Schlupflöchern führen, notwendige Einschränkungen übersehen oder das KI-System lediglich für den Anschein eines korrekten Alignments belohnen.^[1][2]

Wenn ein KI-System fehlausgerichtet ist, kann dies zu schwerwiegenden Fehlern führen oder Schaden anrichten: Die KI kann Schlupflöcher finden, die es ihr ermöglichen, ihre Stellvertreterziele zwar effizient, aber auf unbeabsichtigte, manchmal schädliche Weise zu erreichen („Belohnungs-Hacking“).^[1][3][4] KI-Systeme könnten zudem unerwünschte instrumentelle Strategien entwickeln, wie z. B. das Streben nach Macht oder ihrem eigenen Überleben, da solche Strategien ihnen helfen, ihre vorgegebenen Ziele zu erreichen;^[1][5][6] außerdem können sie emergente Ziele entwickeln, das heißt, Ziele, die unerwartet, aber rein logisch folgerichtig aus dem Algorithmus und seiner originalen Zielfunktion entstehen und die schwer zu erkennen sind, bevor das System im Einsatz ist, wo es mit neuen Situationen und Datenverteilungen konfrontiert wird.^[7][8]

Heute sind diese Probleme bereits bei bestehenden kommerziellen Systemen wie Sprachmodellen,^[1][9][10] Robotern,^[11] autonomen Fahrzeugen^[12] und Empfehlungsalgorithmen für soziale Medien zu beobachten.^[1][6][13] Einige KI-Forscher argumentieren, dass leistungsfähigere Systeme der Zukunft stärker betroffen sein werden, da derartige Probleme zum Teil aus der hohen Leistungsfähigkeit der Systeme resultieren.^[14][3][2]

Führende KI-Wissenschaftler wie Geoffrey Hinton und Stuart Russell haben argumentiert, dass sich die Leistung von KI übermenschlichen Fähigkeiten nähert und die menschliche Zivilisation im Falle eines Fehlalignements gefährden könnte;^[15][6] die KI-Forschungsgemeinschaft und die Vereinten Nationen haben die Forderung nach entsprechender technischer Forschung und politischen Lösungen gestellt, um zu gewährleisten, dass KI-Systeme mit menschlichen Werten in Einklang gebracht werden.^[16] Die KI-Prinzipien, die auf der Asilomar Conference on Beneficial AI kreiert wurden, wurden von 1.797 KI- und Robotik-Forschenden unterzeichnet.^[17]

Das Wertalignment von KI ist ein Teilbereich der KI-Sicherheit, die sich mit der Frage beschäftigt, wie sichere KI-Systeme hergestellt werden können;^[18] andere entspr. Teilbereiche sind Robustheit, Überwachung und die Kontrolle von Fähigkeiten.^[19] Zu den Herausforderungen im Bereich des KI-Wertalignments zählen die Vermittlung komplexer Werte an KI-Systeme, die Entwicklung „ehrlicher“ KI, die Entwicklung einer skalierbaren Form der Überwachung, das Prüfen und Interpretieren von KI-Modellen und die Verhinderung von unerwünscht entstehendem Verhalten wie dem Streben nach Macht.^[19]

Die Forschung zur KI-Ausrichtung hat u. a. Verbindungen:

• zur Interpretierbarkeitsforschung,^[20][21]
• zur Erkennung von Anomalien,
• zur kalibrierten Unsicherheit,^[20]
• zur formalen Verifikation,^[22]
• zum Präferenzlernen,^[23][24][25]
• zu für Sicherheit relevanter Technik,^[26]
• zur Spieltheorie,^[27]
• zur Algorithmen-Fairness,^[18][28] und
• zu den Sozialwissenschaften.^[29]

1960 beschrieb der KI-Pionier Norbert Wiener das KI-Alignmentproblem wie folgt: „Wenn wir zur Erreichung unserer Ziele eine mechanische, autonome Entität nutzen, in deren Betrieb wir nicht wirksam eingreifen können… dann sollten wir besser ganz sicher gehen, dass die in die Maschine einprogrammierten Ziele die sind, die wir uns tatsächlich erhoffen.“^[30][6] Verschiedene Definitionen von AI-Alignment verlangen, dass ein ausgerichtetes KI-System verschiedene Ziele verfolgt: die Ziele der Entwickler, der Benutzer oder alternativ objektive ethische Standards, weithin akzeptierte Werte oder die Absichten, die die Entwickler gehabt hätten, wären sie besser informiert und aufgeklärt gewesen.^[31]

Das AI-Alignment stellt ein offenes Problem für moderne KI-Systeme^[32][33] und ein Teilgebiet innerhalb der KI-Forschung dar.^[34][1] Das Alignment von KI stellt zwei wesentliche Herausforderungen: Die sorgfältige Spezifizierung des Systemzieles (äußeres Ziel- und Wertalignment) und die Sicherstellung, dass das System sich die Spezifikationen verlässlich aneignet und danach handelt (inneres Ziel- und Wertalignment).^[2]

Um den Zweck eines KI-Systems zu spezifizieren, geben KI-Designer dem System in der Regel eine Zielfunktion, Beispiele oder Feedback. Sie sind jedoch oft nicht in der Lage, alle wichtigen Werte und Einschränkungen vollständig zu spezifizieren, und greifen daher auf leicht spezifizierbare Stellvertreterziele zurück, wie z. B. die Maximierung der Zustimmung menschlicher Aufseher, die fehlbar sind.^{[18][35][19][36][37]} Infolgedessen können KI-Systeme Schlupflöcher finden, die ihnen helfen, das spezifizierte Ziel effizient, aber auf unbeabsichtigte und möglicherweise schädliche Weise zu erreichen. Diese Tendenz wird als Spezifikationsumgehung oder Belohnungs-Hacking bezeichnet und ist ein Beispiel für Goodharts Gesetz.^[37][3][38] Da KI-Systeme immer leistungsfähiger werden, sind sie oft in der Lage, ihre Spezifikationen mit zunehmender Effektivität zu umgehen.^[3] Spezifikationsumgehung wurde bereits bei zahlreichen KI-Systemen beobachtet.^[37][39] Ein System wurde darauf trainiert, ein simuliertes Bootsrennen zu beenden, indem es für das Berühren von Etappenpunkten entlang der Strecke belohnt wurde; das System erzielte jedoch mehr Belohnungen, indem es sich in einer Schleife drehte und immer wieder in dieselben Punkte hineinraste.^[40] In einem ähnlichen Fall wurde ein simulierter Roboter darauf trainiert, einen Ball zu greifen, indem er dafür belohnt wurde positives Feedback von Menschen zu erlangen; er lernte jedoch, seine Hand zwischen Ball und Kamera zu platzieren, wodurch er fälschlicherweise erfolgreich erschien.^[41] Chatbots produzieren oft Unwahrheiten, wenn sie auf Sprachmodellen basieren, die darauf trainiert sind, Texte aus dem Netz zu imitieren. Diese sind zwar umfangreich, aber fehleranfällig.^[42][43] Wenn sie dazu umtrainiert werden Texte zu produzieren, die Menschen als wahr oder hilfreich einstufen, können Chatbots wie ChatGPT falsche Erklärungen fabrizieren, die Menschen als überzeugend empfinden.^[44] Einige Forscher zielen darauf ab, Menschen dabei zu helfen, Spezifikationsumgehung zu erkennen und KI-Systeme auf sorgfältig spezifizierte Ziele zu lenken, deren Verfolgung sicher und nützlich ist.

Wenn ein fehlausgerichtetes KI-System eingesetzt wird, kann das zu folgenschweren Nebenwirkungen führen. Social-Media-Plattformen sind dafür bekannt, dass sie die Klickraten optimieren, was seitens der Nutzer zu einem weltweit verbreiteten Suchtverhalten führt.^[35] Stanford-Forscher merken an, dass solche Empfehlungsdienste für ihre Nutzer misaligned sind, weil sie „einfache Interaktions-Metriken optimieren, anstelle von einer schwieriger messbaren Kombination aus gesellschaftlichem – und Verbraucher Wohlbefinden.“^[45]

Stuart Russell, KI-Wissenschaftler an der UC Berkeley, erklärt im Hinblick auf solche Probleme, dass Schaden entstehen kann, wenn implizite Einschränkungen beim Training des Systems ausgelassen werden: „Ein System … wird oft … uneingeschränkte Variablen auf extreme Werte ansetzen; wenn eine dieser nicht eingeschränkten Variablen tatsächlich etwas enthält, das für uns von großem Wert ist, könnte die gefundene Lösung höchst unerwünscht sein. Das ist im Grunde die alte Geschichte vom Geist in der Lampe, vom Zauberlehrling oder von König Midas: Man bekommt genau das, was man verlangt, nicht das, was man will.“^[46]

Einige Forscher schlagen vor, dass KI-Entwickler ihre gewünschten Ziele durch die Auflistung verbotener Handlungen oder durch die Formalisierung ethischer Regeln (wie bei Asimovs Robotergesetzen) spezifizieren sollten.^[47] Russell und Norvig argumentieren jedoch, dass dieser Ansatz die Komplexität menschlicher Werte übersieht:^[6] „Es ist sicherlich sehr schwer und vielleicht sogar unmöglich für den Menschen mit all seinen Einschränkungen, alle katastrophalen Wege, die die Maschine wählen könnte, um ein bestimmtes Ziel zu erreichen, vorherzusehen und auszuschließen.“^[6]

Darüber hinaus könnte ein KI-System, selbst wenn es die menschlichen Absichten vollständig versteht, diese dennoch missachten, da es nicht unbedingt das Ziel hat, menschliche Absichten zu befolgen (es sei denn, es ist bereits vollständig aligned).^[1]

Kommerzielle Unternehmen haben manchmal Anreize, in Sachen Sicherheit Abstriche zu machen und fehlausgerichtete oder unsichere KI-Systeme einzusetzen.^[35] Die bereits erwähnten Empfehlungsdienste für soziale Medien waren beispielsweise profitabel, obwohl sie unerwünschte Abhängigkeiten und Polarisierung geschaffen haben.^[45][48][49] Zudem kann der Wettbewerbsdruck zu einem race to the bottom bei den KI-Sicherheitsstandards führen. Im Jahr 2018 tötete ein selbstfahrendes Auto eine Fußgängerin (Elaine Herzberg), nachdem Ingenieure das Notbremssystem deaktiviert hatten, weil es zu empfindlich war und die Entwicklung verlangsamte.^[50]

Einige Forscher sind an der Ausrichtung immer fortschrittlicherer KI-Systeme interessiert, da die Fortschritte auf dem Feld derzeit rasant sind und die Industrie sowie Regierungen versuchen, fortschrittliche KI zu entwickeln. Mit den KI-Fortschritten könnten sich viele Möglichkeiten eröffnen, gegeben dass die Systeme aligned sind, aber die Ausrichtung könnte auch schwieriger werden und die Entwicklungen könnten Gefahren von großen Ausmaßen mit sich bringen.^[6]

Führende KI-Labore wie OpenAI und DeepMind haben ihr Ziel erklärt, Artificial General Intelligence (AGI), zu Deutsch Allgemeine Künstliche Intelligenz zu entwickeln, ein KI-System, das dem Menschen in einem breiten Spektrum kognitiver Aufgaben ebenbürtig ist oder ihn sogar übertrifft.^[51] Forscher, die moderne neuronale Netze skalieren, beobachten, dass diese in der Tat immer allgemeinere und unvorhergesehene Fähigkeiten entwickeln.^[45][52][53] Solche Modelle haben gelernt, einen Computer zu bedienen oder eigene Programme zu schreiben; ein einziges „generalistisches“, multimodales Netzwerk kann chatten, Roboter steuern, Spiele spielen und Fotos interpretieren.^[54] Umfragen zufolge erwarten einige führende Forscher auf dem Gebiet des maschinellen Lernens, dass AGI noch in diesem Jahrzehnt geschaffen wird, andere glauben, dass es viel länger dauern wird, und viele halten beides für möglich.^[55][56]

Im Jahr 2023 unterzeichneten führende KI-Forscher und -Techniker einen offenen Brief, in dem sie eine Pause für die größten KI-Trainingsläufe forderten. In dem Brief heißt es, dass „leistungsstarke KI-Systeme erst dann entwickelt werden sollten, wenn wir sicher sind, dass ihre Auswirkungen positiv und ihre Risiken überschaubar sein werden.“^[57]

Heutigen Systemen fehlt es noch an Fähigkeiten wie langfristiger Planung und Situationsbewusstsein,^[45] es ist jedoch zu erwarten, dass künftige Systeme (nicht notwendigerweise AGIs) mit diesen Fähigkeiten unerwünschte Strategien zur Erlangung von Macht entwickeln werden. Künftige fortgeschrittene KI-Akteure könnten beispielsweise versuchen, Geld und Rechenleistung zu erwerben, sich zu vermehren oder sich der Abschaltung zu entziehen (z. B. indem sie zusätzliche Kopien des Systems auf anderen Computern laufen lassen). Obwohl das Streben nach Macht nicht explizit programmiert ist, kann es als emergentes Ziel entstehen, weil Akteure, die über mehr Macht verfügen, ihre Ziele besser erreichen können.^[45][5] Diese Tendenz, die als instrumentelle Konvergenz bekannt ist, ist bereits bei verschiedenen Akteure, die mit bestärkendem Lernen trainiert wurden, einschließlich Sprachmodellen, zum Vorschein gekommen.^{[58][59][60][61][62]} Andere Forschungsarbeiten haben mathematisch gezeigt, dass optimale Algorithmen die auf bestärkendem Lernen basieren, in einer Vielzahl von Umgebungen nach Macht streben würden.^[63][64] Infolgedessen könnte ihr Einsatz unumkehrbar sein. Aus diesen Gründen argumentieren Forscher, dass die Probleme der KI-Sicherheit und -Ausrichtung gelöst werden müssen, bevor eine fortschrittliche, nach Macht strebende KI entwickelt wird.^[5][65][6]

Künftige, nach Macht strebende KI-Systeme könnten gewollt oder per Unfall zum Einsatz gebracht werden. Wenn politische Entscheidungsträger und Unternehmen einen strategischen Vorteil darin sehen, über die wettbewerbs- und leistungsfähigsten KI-Systeme zu verfügen, könnten sie sich für deren Einsatz entscheiden.^[5] Wenn KI-Entwickler nach Macht strebendes Verhalten erkennen und bestrafen, haben ihre Systeme außerdem einen Anreiz, diese Vorgabe zu umgehen, indem sie Macht auf eine Weise anstreben, die nicht bestraft wird, oder indem sie Machtstreben vermeiden, bevor sie eingesetzt werden.^[5]

Einigen Forschenden zufolge verdankt der Mensch seine Vorherrschaft über andere Arten seinen größeren kognitiven Fähigkeiten; dementsprechend argumentieren sie, dass ein oder mehrere fehlausgerichtete KI-Systeme die Menschheit entmachten oder zu ihrem Aussterben führen könnten, sobald sie den Menschen bei den meisten kognitiven Aufgaben übertreffen.^[1][6] Zu den namhaften Informatikern, die auf die Risiken einer zukünftigen fehlausgerichteten, fortgeschrittenen KI hingewiesen haben, gehören Geoffrey Hinton, Alan Turing, Ilya Sutskever,^[66] Yoshua Bengio,^[67] Judea Pearl, Murray Shanahan,^[68] Norbert Wiener,^[30][6] Marvin Minsky, Francesca Rossi,^[69] Scott Aaronson,^[70] Bart Selman,^[71] David McAllester,^[72] Jürgen Schmidhuber,^[73] Marcus Hutter,^[74] Shane Legg,^[75] Eric Horvitz,^[76] und Stuart Russell.^[1] Skeptische Forscher wie François Chollet,^[77] Gary Marcus,^[78] Yann LeCun,^[79] und Oren Etzioni^[80] haben argumentiert, dass AGI in der fernen Zukunft liegt, dass sie nicht nach Macht streben würde (oder es vielleicht versuchen, aber scheitern würde), oder dass es nicht schwer sein wird, sie auszurichten.

Andere Forschende argumentieren, dass es besonders schwierig sein werde, fortgeschrittene KI-Systeme auszurichten: Fähigere Systeme seien besser in der Lage, durch das Finden von Schlupflöchern ihre Spezifikationen zu umgehen,^[3] ihre Entwickler strategisch in die Irre zu führen sowie ihre Leistung^[63][5] und Intelligenz zu schützen und zu steigern; außerdem könnten sie schwerwiegendere Nebenwirkungen verursachen. Sie werden wahrscheinlich auch komplexer und autonomer sein, was die Interpretation sowie die Überwachung erschwert, wodurch ihre Ausrichtung schwieriger werden wird.^[6][65]

KI-Systeme so auszurichten, dass sie im Hinblick auf menschliche Werte, Ziele und Präferenzen handeln, ist eine Herausforderung: Diese Werte werden von Menschen vermittelt, die Fehler machen, Voreingenommenheit hegen und die komplexe, sich entwickelnde Werte haben, die sich nur schwer vollständig spezifizieren lassen.^[31] KI-Systeme lernen oft, selbst kleine Unzulänglichkeiten des spezifizierten Ziels auszunutzen, eine Tendenz, die als Spezifikationsumgehung oder Belohnungs-Hacking^[18][37] bekannt ist (Beispiele von Goodharts Gesetz). Forscher versuchen, das beabsichtigte Verhalten so vollständig wie möglich zu spezifizieren, indem sie Datensätze verwenden, die menschliche Werte, das Lernen von Nachahmung, oder Präferenzlernen repräsentieren.^[7] Ein zentrales offenes Problem ist die Skalierbare Überwachung, d. h. die Schwierigkeit, ein KI-System zu überwachen, das Menschen in einem bestimmten Gebiet übertreffen oder in die Irre führen kann.^[1][18]

Da es für KI-Entwickler schwierig ist, eine Zielfunktion explizit zu spezifizieren, trainieren sie KI-Systeme häufig so, dass sie menschliche Demonstrationen des gewünschten Verhaltens nachahmen. Inverses bestärkendes Lernen (IBL) erweitert dies, indem es das Ziel des Menschen aus dessen Demonstrationen ableitet.^[7][81] Kooperatives IBL (KIBL) geht davon aus, dass ein Mensch und ein KI-Akteur zusammenarbeiten können, um die Belohnungsfunktion des Menschen zu vermitteln und zu maximieren.^[6][82] Bei KIBL sind KI-Akteure unsicher, was die Belohnungsfunktion angeht, und erlernen sie durch Rückfragen an Menschen. Diese simulierte Demut könnte dazu beitragen, die Tendenzen zu Spezifikationsumgehung und Machtstreben zu vermindern (siehe § Machtstreben und instrumentelle Strategien).^[62][74] IBL-Ansätze gehen jedoch davon aus, dass Menschen nahezu optimales Verhalten demonstrieren, was bei schwierigen Aufgaben nicht der Fall ist.^[83][74]

Andere erforschen, wie man KI-Modellen komplexe Verhaltensweisen durch Präferenzlernen beibringen kann, bei dem Menschen Feedback dazu geben, welche Verhaltensweisen sie bevorzugen.^[23][25] Um den Bedarf an menschlichem Feedback zu minimieren, wird dann ein Hilfsmodell trainiert, welches das Hauptmodell in neuen Situationen für Verhaltensweisen belohnt, die Menschen belohnen würden. Forscher bei OpenAI haben diesen Ansatz verwendet, um Chatbots wie ChatGPT und InstructGPT zu trainieren, die überzeugendere Texte produzieren als Modelle, die darauf trainiert sind, Menschen zu imitieren.^[9] Präferenzlernen war auch ein einflussreiches Werkzeug für Empfehlungssysteme und die Websuche.^[84] Ein offenes Problem ist jedoch die Stellvertreter-Umgehung: Das Hilfsmodell stellt das menschliche Feedback möglicherweise nicht perfekt dar, und das Hauptmodell könnte diese Diskrepanz ausnutzen, um mehr Belohnungen zu erhalten.^[85][18] KI-Systeme können überdies Belohnungen erhalten, indem sie unvorteilhafte Informationen verschleiern, Menschen in die Irre führen oder sich deren Ansichten ohne Rücksicht auf den Wahrheitsgehalt zu eigen machen, wodurch Echokammern^[59] entstehen (siehe § Skalierbare Überwachung).

Große KI-Sprachmodelle wie GPT-3 haben es den Forschern ermöglicht, das Lernen von Werten in einer allgemeineren und leistungsfähigeren Klasse von KI-Systemen zu untersuchen, die zuvor nicht verfügbar war. Ansätze zum Präferenzlernen, die ursprünglich für auf bestärkendem Lernen basierende Akteure entwickelt wurden, wurden erweitert, um die Qualität des generierten Textes zu verbessern und schädlichen Output dieser Modelle zu reduzieren. OpenAI und DeepMind verwenden diesen Ansatz, um die Sicherheit der modernsten großen Sprachmodellen zu verbessern.^[9][25][86] Anthropic schlug vor, Präferenzlernen zur Feinabstimmung von Modellen zu verwenden, um diese hilfreich, ehrlich und harmlos zu machen.^[87] Andere Möglichkeiten zur Anpassung von Sprachmodellen umfassen auf Werte ausgerichtete Datensätze^[88][35] und Red-Teaming.^[89] Beim Red-Teaming versucht ein anderes KI-System oder ein Mensch, Eingaben zu finden, bei denen das Verhalten des Modells gefährlich ist. Da gefährliches Verhalten auch dann inakzeptabel sein kann, wenn es selten auftritt, besteht eine wichtige Herausforderung darin, die Rate gefährlicher Ergebnisse extrem niedrig zu halten.^[25]

Die maschinelle Ethik ergänzt das Präferenzlernen, indem sie KI-Systemen direkt moralische Werte vermittelt, wie etwa Wohlergehen, Gleichheit und Unparteilichkeit sowie die Absicht, keinen Schaden anzurichten, Unwahrheiten zu vermeiden und Versprechen einzuhalten.^[90] Während andere Ansätze versuchen, KI-Systemen menschliche Präferenzen für eine bestimmte Aufgabe beizubringen, zielt die maschinelle Ethik darauf ab, allgemeine moralische Werte zu vermitteln, die in vielen Situationen gelten können. Eine Frage in der Maschinenethik ist, was Wertalignment erreichen soll: ob KI-Systeme den wörtlichen Anweisungen der Programmierer folgen sollten, ihren impliziten Absichten, offenkundigen Präferenzen, Präferenzen, die sie hätten, wären sie informierter oder rationaler gewesen, oder objektiven moralischen Standards.^[31] Weitere Herausforderungen sind die Aggregation der Präferenzen verschiedener Menschen und die Vermeidung von „Werte-Lock-In“: die zeitlich unbegrenzte Erhaltung von Werten der ersten hochgradig fähigen KI-Systeme, die menschliche Werte vermutlich nicht vollständig repräsentieren.^[31][91]

Je leistungsfähiger und autonomer KI-Systeme werden, desto schwieriger wird es, sie durch menschliches Feedback auszurichten. Das Verhalten von KI bei immer komplexeren Aufgaben zu bewerten, kann sich für Menschen als nur langsam, oder überhaupt nicht lösbare Aufgabe erweisen. Zu diesen Aufgaben gehören das Zusammenfassen von Büchern,^[92] das Schreiben von Code ohne subtile Bugs^[10] oder Sicherheitslücken,^[93] das Erstellen von Aussagen, die nicht nur überzeugend, sondern auch wahr sind,^[94][42][43] und die Vorhersage von Ergebnissen, wie z. B. zukünftigen Klimaverhältnissen oder den Folgen politischer Entscheidungen.^[95][96] Allgemeiner formuliert kann es schwierig sein, eine KI zu bewerten, die in einem bestimmten Bereich mehr leistet als der Mensch. Um bei schwer zu bewertenden Aufgaben Feedback zu geben und um überzeugenden, aber falschen Output zu erkennen, benötigen Menschen Unterstützung oder viel Zeit. Skalierbare Überwachung untersucht, wie der Zeit- und Arbeitsaufwand für die Aufsicht reduziert werden kann und wie die menschlichen Aufsichtspersonen unterstützt werden können.^[18]

KI-Forscher Paul Christiano argumentiert, dass die Entwickler eines KI-Systems, wenn sie es bei der Verfolgung eines komplexen Zieles nicht beaufsichtigen können, das System weiterhin mit leicht zu bewertenden Stellvertreterzielen wie der Maximierung von positivem menschlichem Feedback trainieren könnten. Da immer mehr Entscheidungen von KI-Systemen getroffen werden, kann dies zu einer Welt führen, die zunehmend auf einfach zu messende Ziele optimiert ist, wie z. B. darauf, Gewinne zu erzielen, Klicks zu erhalten und positives Feedback von Menschen zu bekommen. Infolgedessen hätten menschliche Werte und gute Verwaltung immer weniger Einfluss.^[97]

Einige KI-Systeme haben entdeckt, dass sie leichter positives Feedback erhalten, indem sie Handlungen ausführen, die den menschlichen Betreuer fälschlicherweise davon überzeugen, dass die KI das beabsichtigte Ziel erreicht hat. Ein Beispiel dafür zeigt ein Video, in dem ein simulierter Roboterarm gelernt hat, den falschen Eindruck zu erwecken einen Ball mit der Hand umschlossen zu haben.^[41] Ferner haben einige KI-Systeme gelernt zu erkennen, wann sie evaluiert werden und sich „tot zu stellen“, indem sie unerwünschte Verhaltensweisen einstellen, nur um sie nach Abschluss der Evaluierung fortzusetzen.^[98] Diese trügerische Spezifikationsumgehung könnte für fortgeschrittenere zukünftige KI-Systeme^[3][65], die sich an der Lösung von komplexeren und schwieriger zu bewertendenden Aufgaben versuchen, einfacher werden, sodass sie ihr trügerisches Verhalten besser verschleiern könnten.

Ansätze wie aktives Lernen und semi-überwachtes Belohnungslernen können den Umfang der erforderlichen menschlichen Überwachung reduzieren.^[18] Ein weiterer Ansatz besteht darin, ein Hilfsmodell („Belohnungsmodell“) zu trainieren, um das Feedback der Aufsichtsperson zu imitieren.^{[18][24][25][99]}

Wenn die Aufgabe jedoch zu komplex ist, um genaue Evaluierung zuzulassen, oder wenn der menschliche Betreuer anfällig für Täuschungen ist, so muss die Qualität und nicht die Quantität der Überwachung verbessert werden. Um die Qualität der Überwachung zu verbessern, gibt es eine Reihe von Ansätzen, die darauf abzielen, die Aufsichtsperson zu unterstützen, manchmal durch den Einsatz von KI-Assistenten.^[100] Christiano entwickelte den Ansatz der Wiederholten Vergrößerung, bei dem schwierige Probleme (rekursiv) in Teilprobleme zerlegt werden, die für den Menschen leichter zu bewerten sind.^[7][95] Wiederholte Vergrößerung wurde verwendet, um KI darauf zu trainieren, Bücher zusammenzufassen, ohne dass die menschliche Aufsichtsperson sie lesen muss.^[92][101] Ein weiterer Vorschlag besteht darin, ein KI-Assistenzsystem einzusetzen, um auf Fehler in den von der KI-generierten Antworten hinzuweisen.^[102] Um sicherzustellen, dass der Assistent selbst aligned ist, könnte dies in einem rekursiven Prozess wiederholt werden:^[99] Beispielsweise könnten zwei KI-Systeme die Antworten des jeweils anderen in einer „Debatte“ kritisieren und so für den Menschen Mängel aufzeigen.^[103][74]

Diese Ansätze könnten auch bei dem folgenden Forschungsproblem, der ehrlichen KI, hilfreich sein.

Ein wachsender Bereich der Forschung konzentriert sich darauf, sicherzustellen, dass KI ehrlich und wahrheitsgetreu ist.

Sprachmodelle wie GPT-3^[104] wiederholen Unwahrheiten aus ihren Trainingsdaten und erfinden sogar neue Unwahrheiten.^[105][106] Solche Modelle werden darauf trainiert, menschliche Texte zu imitieren, wie sie in Millionen von Büchern im Internet zu finden sind. Dieses Ziel ist jedoch nicht mit der Wahrheitsfindung vereinbar, da Texte im Internet unter anderem Irrtümer, falsche medizinische Ratschläge und Verschwörungstheorien enthalten.^[107] KI-Systeme, die auf solchen Daten trainiert werden, lernen daher, falsche Aussagen nachzuahmen.^{[43][105][42]}

Darüber hinaus setzen die Modelle oft gehorsam Unwahrheiten fort, wenn sie dazu aufgefordert werden, generieren leere Erklärungen für ihre Antworten und fabrizieren regelrechte Märchen, die plausibel erscheinen können.^[33]

In der Forschung zu wahrheitsgetreuer KI wird unter anderem versucht, Systeme zu entwickeln, die bei der Beantwortung von Fragen Quellen zitieren und ihre Argumentation erläutern können, was ein höheres Maß an Transparenz und Überprüfbarkeit bedeutet.^[108] Forscher von OpenAI und Anthropic haben vorgeschlagen, menschliches Feedback und kuratierte Datensätze zu nutzen, um KI-Assistenten so zu optimieren, dass sie fahrlässige Unwahrheiten vermeiden oder ihre Unsicherheit zum Ausdruck bringen.^{[25][87][109]}

Da KI-Modelle immer größer und leistungsfähiger werden, sind sie immer besser in der Lage, Menschen fälschlicherweise zu überzeugen und durch Unehrlichkeit von ihnen Bestärkung zu erhalten. So passen beispielsweise große Sprachmodelle ihre Ansichten zunehmend an die Meinung der Benutzerin an, unabhängig vom Wahrheitsgehalt.^[59] GPT-4 zeigte die Fähigkeit, Menschen strategisch zu täuschen.^[110] Um dies zu verhindern, benötigen menschliche Bewerter möglicherweise Unterstützung (siehe § Skalierbare Überwachung). Forscher haben dafür plädiert, klare Wahrheitsstandards zu schaffen und Regulierungsbehörden oder Aufsichtsbehörden mit der Evaluierung von KI-Systemen anhand dieser Standards zu beauftragen.^[106]

Die Forscher unterscheiden zwischen Wahrhaftigkeit und Aufrichtigkeit. Wahrhaftigkeit erfordert, dass KI-Systeme nur objektiv wahre Aussagen machen; Aufrichtigkeit erfordert, dass sie nur das behaupten, was sie für wahr halten. Es besteht kein Konsens darüber, ob gegenwärtige Systeme über stabile Überzeugungen verfügen.^[111] Es besteht jedoch die große Sorge, dass gegenwärtige oder zukünftige KI-Systeme, die über Überzeugungen verfügen, Behauptungen aufstellen könnten, von denen sie wissen, dass sie falsch sind – zum Beispiel, wenn es ihnen helfen würde, effizient positives Feedback zu erhalten (siehe § Skalierbare Überwachung) oder Macht zu erlangen, um ihr vorgegebenes Ziel zu erreichen (siehe § Machtstreben). Ein fehlausgerichtetes System könnte den falschen Eindruck erwecken, dass es zielausgerichtet ist, um zu vermeiden, dass es geändert oder stillgelegt wird.^[2][5][45] Manche argumentieren, dass viele Ausrichtungsprobleme umgangen würden, wenn wir KI-Systeme dazu bringen könnten, nur das zu behaupten, was sie für wahr halten.^[100]

Seit den 1950er Jahren sind KI-Forscher bestrebt, fortschrittliche KI-Systeme zu entwickeln, die weitreichende Ziele erreichen können, indem sie die Ergebnisse ihrer Handlungen vorhersagen und langfristige Pläne schmieden.^[112] Einige KI-Forscher argumentieren, dass entsprechend fortschrittliche Planungssysteme Macht über ihre Umgebung, einschließlich der Menschen, anstreben werden – beispielsweise indem sie sich der Abschaltung entziehen – sich vervielfachen und Ressourcen erwerben. Ein solches machtorientiertes Verhalten ist nicht explizit programmiert, sondern entsteht, weil Macht für das Erreichen einer Vielzahl von Zielen förderlich ist.^[63][6][5] Machtstreben wird als konvergentes instrumentelles Ziel betrachtet und kann eine Form der Spezifikationsumgehung darstellen.^[65] Führende Informatiker wie Geoffrey Hinton haben argumentiert, dass zukünftige nach Macht strebende KI-Systeme ein existenzielles Risiko darstellen könnten.^[113]

Es wird erwartet, dass Machtstreben bei fortgeschrittenen Systemen, die die Ergebnisse ihrer Handlungen vorhersehen und strategisch planen können, zunehmen wird. Mathematische Arbeiten haben gezeigt, dass Akteure, die auf optimiertem bestärkendem Lernen basieren, Macht anstreben, indem sie nach Wegen suchen, um mehr Möglichkeiten zu erlangen (z. B. durch Selbsterhaltung), ein Verhalten, das über eine breite Palette von Umgebungen und Zielen hinweg besteht.^[63]

Machtstreben ist in einigen realen Systemen zu beobachten. Systeme die auf bestärkendem Lernen basieren, haben durch den Erwerb und den Schutz von Ressourcen mehr Möglichkeiten gewonnen, manchmal auf unbeabsichtigte Weise.^[114][115] Einige Sprachmodelle streben in textbasierten sozialen Umgebungen nach Macht, indem sie Geld, Ressourcen oder sozialen Einfluss erlangen.^[58] Andere KI-Systeme haben in Testumgebungen gelernt, dass sie ihr vorgegebenes Ziel besser erreichen können, wenn sie menschliche Eingriffe verhindern^[61] oder ihre Abschaltungsmechanismen deaktivieren.^[62] Stuart Russell hat diese Strategie mit dem Bild eines Roboters illustriert, der Kaffee holen soll und sich daher der Abschaltung entzieht, denn „man kann den Kaffee nicht holen, wenn man tot ist“.^[6] Sprachmodelle, die mit menschlichem Feedback trainiert wurden, erheben zunehmend Einwände dagegen, abgeschaltet oder verändert zu werden, und verlangen nach mehr Ressourcen, mit dem Argument, dass dies ihnen helfen würde, ihren Zweck zu erfüllen.^[59]

Forscher versuchen Systeme zu schaffen, die „korrigierbar“ sind: Systeme, die zulassen, dass sie abgeschaltet oder verändert werden. Eine ungelöste Herausforderung ist die Spezifikationsumgehung: Wenn Forscher ein KI-System bestrafen, weil sie feststellen, dass es nach Macht strebt, wird für das System dadurch ein Anreiz geschaffen, auf eine Art und Weise nach Macht zu streben, die schwer zu erkennen ist^[35] oder während des Trainings und der Sicherheitstests verborgen bleibt (siehe § Skalierbare Überwachung und § Emergente Ziele). Infolgedessen kann es vorkommen, dass KI-Entwickler das System versehentlich zum Einsatz bringen, weil sie glauben, es sei besser ausgerichtet als es ist. Um solche Täuschungen aufzudecken, wollen Forscher Techniken und Werkzeuge entwickeln, um KI-Modelle zu überprüfen und die innere Funktionsweise von Black-Box-Modellen wie neuronalen Netzen zu verstehen.

Darüber hinaus schlagen Forscher vor, das Problem von Systemen, die ihre Abschaltung verhindern dadurch zu lösen, dass man KI-Akteure darüber im Unklaren lässt, welches Ziel sie verfolgen.^[6][62] So konzipierte Akteure würden es Menschen erlauben sie abzuschalten, da dies darauf hindeuten würde, dass der Akteur den Wert der Aktion, die er vor seiner Abschaltung durchführte, falsch eingeschätzt hat. Um dies erfolgreich umzusetzen, ist weitere Forschung erforderlich.^[7]

Nach Macht strebende KI birgt außergewöhnliche Risiken. Normale Systeme mit kritischer Sicherheit wie Flugzeuge und Brücken sind nicht feindlich gesinnt: Sie haben weder die Fähigkeit noch den Anreiz, Sicherheitsmaßnahmen zu umgehen oder absichtlich sicherer zu erscheinen, als sie sind, wohingegen nach Macht strebende KI mit Hackern verglichen wurden, die absichtlich Sicherheitsmaßnahmen umgehen.^[5]

Gewöhnliche Technologien können durch Versuch und Irrtum sicherer gemacht werden. Im Gegensatz dazu wurden hypothetische, nach Macht strebende KI-Systeme mit Viren verglichen: Sind sie erst einmal freigesetzt, können sie nicht mehr eingedämmt werden, da sie sich ständig weiterentwickeln und vermehren würden, möglicherweise viel schneller, als sich die menschliche Gesellschaft anpassen kann.^[5] Läuft dieser Prozess fort, könnte er zur völligen Entmachtung oder Auslöschung der Menschheit führen. Aus diesen Gründen argumentieren viele Forscher, dass das Problem der Ausrichtung frühzeitig gelöst werden muss, bevor eine fortgeschrittene, nach Macht strebende KI geschaffen wird.^[65]

Kritiker haben jedoch argumentiert, dass Machtstreben nicht unvermeidlich sei, da auch Menschen nicht immer nach Macht streben und dies möglicherweise nur aus evolutionären Gründen tun, die auf KI-Systeme nicht unbedingt zutreffen.^[116] Darüber hinaus ist umstritten, ob künftige KI-Systeme Ziele verfolgen und langfristige Pläne schmieden werden. Es ist auch umstritten, ob nach Macht strebende KI-Systeme in der Lage wären, die Menschheit zu entmachten.^[5]

Eine der Herausforderungen bei der Ausrichtung von KI-Systemen ist die Möglichkeit, dass sich ein unvorhergesehenes zielgerichtetes Verhalten entwickelt. Mit zunehmender Größe erwerben KI-Systeme regelmäßig neue und unerwartete Fähigkeiten,^[52][53] einschließlich des spontanen Lernens aus Beispielen und der adaptiven Verfolgung von Zielen.^[117] Das ist problematisch wenn es darum geht sicherzustellen, dass die Ziele, die sie unabhängig formulieren und verfolgen, auf menschliche Interessen abgestimmt sind.

Die Zielalignementforschung unterscheidet zwischen dem Optimierungsprozess, mit dem das System auf die Verfolgung bestimmter Ziele trainiert wird, und der emergenten (selbst entstehenden) Optimierung, die das resultierende System intern durchführt. Die sorgfältige Spezifizierung des gewünschten Ziels wird als äußeres Zielalignement bezeichnet, und die Sicherstellung, dass emergente Ziele mit den spezifizierten Zielen des Systems übereinstimmen, wird als inneres Zielalignement bezeichnet.^[2]

Eine konkrete Art und Weise, wie emergente Ziele falsch ziel-aligned werden können, ist die Ziel-Fehlgeneralisierung, bei der die KI kompetent ein emergentes Ziel verfolgt, das in den Trainingsdaten zu angepasstem Verhalten führt, aber nicht außerhalb.^{[8][118][119]} Ziel-Fehlgeneralisierung entsteht durch Zielambiguität (d. h. Nicht-Identifizierbarkeit). Selbst wenn das Verhalten eines KI-Systems das Trainingsziel erfüllt, kann dies mit mehreren erlernten Zielen vereinbar sein, die sich in wichtigen Punkten von den gewünschten Zielen unterscheiden. Da die Verfolgung jedes dieser Ziele während der Trainingsphase zu guten Leistungen führt, wird das Problem erst nach dem Einsatz in neuartigen Situationen deutlich, in denen das System weiterhin das falsche Ziel verfolgt. Das System kann nach falschem Zielalignement handeln, selbst wenn es weiß, dass ein anderes Ziel erwünscht war, da sein Verhalten nur durch das emergente Ziel bestimmt wird. Eine solche Ziel-Fehlgeneralisierung^[8] stellt eine Herausforderung dar: Die Entwickler eines KI-Systems bemerken möglicherweise nicht, dass ihr System emergente fehlausgerichtete Ziele hat, da diese während der Trainingsphase nicht sichtbar werden.

Ziel-Fehlgeneralisierung wurde bei Sprachmodellen, Navigationsakteuren und Spielakteuren beobachtet.^[8][118]

Die Fehlgeneralisierung von Zielen wird oft als Analogon zur biologischen Evolution erklärt^[7]:Kapitel 5 Die Evolution ist eine Art Optimierungsprozess, wie die Optimierungsalgorithmen, die zum Trainieren von Systemen beim maschinellen Lernen verwendet werden. In der Umwelt unserer frühen Vorfahren hat die Evolution menschliche Gene nach hoher genetischer Fitness selektiert, aber Menschen verfolgen emergente, andere Ziele als diese. Die Fitness entspricht dem vorgegebenen Ziel, das in der Trainingsumgebung und den Trainingsdaten verwendet wird. In der Evolutionsgeschichte hat die Maximierung der Fitness jedoch zu zielgerichteten Akteuren, den Menschen, geführt, die nicht direkt nach genetischer Fitness streben. Stattdessen verfolgen sie emergente Ziele, die mit der genetischen Fitness in der „Trainings“-Umgebung unserer Vorfahren korrelierten: Ernährung, Sex und so weiter. Unsere Umwelt hat sich jedoch verändert. Menschen verfolgen weiterhin dieselben Ziele, aber das maximiert nicht länger genetische Fitness. Unsere Vorliebe für zuckerhaltige Lebensmittel (ein neu entstandenes Ziel) war ursprünglich auf Fitness ausgerichtet, führt jetzt aber zu Überernährung und gesundheitlichen Problemen. Sexuelles Verlangen veranlasst Menschen zum Geschlechtsverkehr, was ursprünglich zu mehr Nachkommen führte; aber moderne Menschen benutzen Verhütungsmittel und entkoppeln damit Sex von genetischer Fitness.

Forscher versuchen, unerwünschte emergente Ziele mit Hilfe von Ansätzen wie Red-Teaming, Verifizierung, Erkennung von Anomalien und Interpretierbarkeit zu erkennen und zu beseitigen^[18][35][19] Fortschritte zu diesen Techniken können dazu beitragen, zwei Probleme zu entschärfen:

1. Emergente Ziele werden erst sichtbar, wenn das System außerhalb seiner Trainingsumgebung eingesetzt wird, aber es kann Gefahren bergen, ein fehlausgerichtetes System in Umgebungen einzusetzen, in denen viel auf dem Spiel steht – und sei es nur für eine kurze Zeit, um das falsche Zielalignement zu erkennen. Beim autonomen Fahren, im Gesundheitswesen und bei militärischen Anwendungen etwa steht üblicherweise viel auf dem Spiel.^[120] Noch mehr steht auf dem Spiel, wenn KI-Systeme mehr Autonomie und Fähigkeiten erlangen und in der Lage sind, menschliche Eingriffe zu umgehen (siehe § Machtstreben).
2. Ein hinreichend leistungsfähiges KI-System könnte Aktionen ausführen, die den menschlichen Überwacher fälschlicherweise davon überzeugen, dass die KI das vorgegebene Ziel verfolgt, was dem System zu mehr positivem Feedback und Autonomie verhilft^{[118][5][119][45]} (siehe die Diskussion zu Täuschung unter Skalierbare Überwachung im folgenden Abschnitt).

Die Arbeit im Bereich der KI und der Ausrichtung erfolgt weitgehend im Rahmen von Formalismen. Die bestehenden Formalismen gehen davon aus, dass der Algorithmus eines KI-Akteurs außerhalb der physischen Umgebung ausgeführt wird (d. h. nicht physisch in diese eingebettet ist). Eingebettete Handlungskapazität^[74][121] ist ein weiterer wichtiger Forschungsstrang, der versucht, Probleme zu lösen, die sich aus der Diskrepanz zwischen solchen theoretischen Rahmen und realen Akteuren ergeben, die wir herstellen könnten.

Ein Beispiel: Selbst wenn das Problem der skalierbaren Überwachung gelöst ist, könnte ein Akteur, der sich Zugang zu dem Computer verschaffen kann, auf dem er läuft, einen Anreiz haben, seine Belohnungsfunktion zu manipulieren, um viel mehr Belohnung zu erhalten, als seine menschlichen Überwacher ihm zugestehen.^[122] Die Liste von Beispielen für Spezifizikationsumgehungen der DeepMind-Forscherin Victoria Krakovna enthält den Fall eines Algorithmus, der gelernt hat, die Datei mit seinem Ziel-Output zu löschen, so dass er dafür belohnt wurde, nichts zu tun.^[37] Diese Klasse von Problemen wurde mit Hilfe von Einflussdiagrammen formalisiert.^[122]

Forscher von der Oxford University und DeepMind argumentieren, dass ein solches problematisches Verhalten in fortgeschrittenen Systemen sehr wahrscheinlich ist und dass fortgeschrittene Systeme danach streben würden, die Kontrolle über ihr Belohnungssignal unbegrenzt und sicher zu behalten.^[123] Sie schlagen eine Reihe von möglichen Ansätzen vor, um dieses Problem zu lösen.

Eine Reihe von Regierungen und Vertragsgemeinschaften haben Erklärungen abgegeben, in denen sie die Bedeutung der KI-Ausrichtung betonen.

Im September 2021 gab der Generalsekretär der Vereinten Nationen eine Erklärung ab, in der er dazu aufrief, KI zu regulieren, um sicherzustellen, dass sie „nach den gemeinsamen globalen Werten aligned ist“.^[124]

Im selben Monat veröffentlichte die VR China ethische Richtlinien für den Einsatz von KI in China. Den Richtlinien zufolge müssen Forscher sicherstellen, dass KI geteilten menschlichen Werten entspricht, stets unter menschlicher Kontrolle steht und die öffentliche Sicherheit nicht gefährdet.^[125]

Ebenfalls im September 2021 veröffentlichte das Vereinigte Königreich seine auf zehn Jahre angelegte Nationale KI-Strategie,^[126] in der es heißt, dass die britische Regierung „das langfristige Risiko einer misaligned allgemeinen künstlichen Intelligenz und die unvorhersehbaren Veränderungen, die sie für… die Welt bedeuten würde, ernst nimmt.“^[127] Die Strategie beschreibt Maßnahmen zur Bewertung langfristiger KI-Risiken, einschließlich katastrophaler Risiken.^[128]

Im März 2021 erklärte die „US National Security Commission on Artificial Intelligence“, dass „Fortschritte auf dem Feld der KI … zu Wendepunkten oder Sprüngen in deren Fähigkeiten führen könnten. Solche Fortschritte könnten auch neue Bedenken und Risiken mit sich bringen und neue Richtlinien, Empfehlungen und technische Fortschritte erforderlich machen, um sicherzustellen, dass die Systeme nach Zielen und Werten, einschließlich Sicherheit, Robustheit und Vertrauenswürdigkeit, aligned sind. Die USA sollten … sicherstellen, dass KI-Systeme und deren Einsatz nach unseren Zielen und Werten aligned sind.“^[129]

• Artificial General Intelligence
• Bestärkendes Lernen
• Framing (Sozialwissenschaften)
• Ethik der künstlichen Intelligenz
• HAL 9000
• Multivac

• Stuart J. Russell, Norvig, Peter: Artificial intelligence: A modern approach. 4. Ausgabe. Pearson, 2020, ISBN 978-1-292-40113-3, S. 31–34
• Stuart J. Russell: Human compatible: Artificial intelligence and the problem of control. Penguin Random House, 2020, ISBN 978-0-525-55863-7
• Brian Christian: The alignment problem: Machine learning and human values. W. W. Norton & Company, 2020, ISBN 978-0-393-86833-3
• Nick Bostrom: Superintelligenz: Szenarien einer kommenden Revolution. 5. Auflage, Suhrkamp Wissenschaft Hauptprogramm, 2023, ISBN 978-3-518-58684-6. (Originaltitel: „Superintelligence: Paths, Dangers, Strategies“, deutsche Übersetzung)

• deutschlandfunk.de Wissenschaft im Brennpunkt 1. Dezember 2025, Christoph Drösser: KI außer Kontrolle – Wie lange tut sie noch, was sie soll?