Dario Amodei und die technologische Adoleszenz der Menschheit - Teil 2

Wir setzen mit dieser zweiten Folge das lange simulierte Gespräch mit Dario Amodei, CEO von Anthropic, fort und schließen es ab. Es wurde rückwirkend aus den in seinem neuesten Essay „The Adolescence of Technology“ veröffentlichten Reflexionen rekonstruiert. Ein narratives Mittel, um die dringende Botschaft, die Amodei aussenden möchte, unmittelbarer zu machen: Die Menschheit tritt in einen kritischen Übergang ein, der sich in den nächsten zwei Jahren definieren könnte.

---

Wer bereitet Ihnen am meisten Sorgen, in der Reihenfolge des Schweregrads?

Die Kommunistische Partei Chinas (KPCh). China liegt bei den KI-Fähigkeiten an zweiter Stelle hinter den Vereinigten Staaten und ist das Land mit der höchsten Wahrscheinlichkeit, die Vereinigten Staaten bei diesen Fähigkeiten zu überholen. Ihre Regierung ist derzeit autokratisch und betreibt einen High-Tech-Überwachungsstaat. Sie hat bereits KI-basierte Überwachung eingesetzt, unter anderem bei der Unterdrückung der Uiguren, und es wird angenommen, dass sie neben ihren vielen anderen internationalen Propagandabemühungen algorithmische Propaganda über TikTok einsetzt. Sie haben eindeutig den direktesten Weg in den von mir skizzierten KI-gestützten totalitären Albtraum. Es könnte sogar das Standardergebnis innerhalb Chinas sowie innerhalb anderer autokratischer Staaten sein, in die die KPCh Überwachungstechnologie exportiert. Ich habe oft über die Gefahr geschrieben, dass die KPCh die Führung bei der KI übernimmt, und über den existenziellen Imperativ, sie daran zu hindern. Das ist der Grund. Um es klar zu sagen: Es ist das chinesische Volk selbst, das am ehesten unter der KI-gestützten Repression der KPCh leiden wird, und es hat kein Mitspracherecht bei den Handlungen seiner Regierung. Ich bewundere und respektiere das chinesische Volk zutiefst und unterstütze die vielen mutigen Dissidenten innerhalb Chinas und ihren Kampf für die Freiheit.

Dann sind da noch die wettbewerbsfähigen Demokratien im Bereich der KI. Wie ich geschrieben habe, haben Demokratien ein legitimes Interesse an bestimmten KI-gestützten militärischen und geopolitischen Werkzeugen, da demokratische Regierungen die beste Chance bieten, dem Einsatz dieser Werkzeuge durch Autokratien entgegenzuwirken. Ich bin im Allgemeinen dafür, Demokratien mit den Werkzeugen auszustatten, die notwendig sind, um Autokratien im KI-Zeitalter zu besiegen; ich glaube einfach nicht, dass es einen anderen Weg gibt. Aber wir können das Potenzial für den Missbrauch dieser Technologien durch die demokratischen Regierungen selbst nicht ignorieren. Demokratien verfügen normalerweise über Schutzmechanismen, die verhindern, dass sich ihr Militär- und Geheimdienstapparat nach innen gegen die eigene Bevölkerung richtet, aber da KI-Werkzeuge so wenige Menschen für den Betrieb erfordern, besteht das Potenzial, dass sie diese Schutzmechanismen und die sie unterstützenden Normen umgehen könnten.

Dann die nicht-demokratischen Länder mit großen Rechenzentren und schließlich die KI-Unternehmen selbst. Es ist ein wenig peinlich, dies als CEO eines KI-Unternehmens zu sagen, aber ich denke, die nächste Stufe des Risikos sind tatsächlich die KI-Unternehmen selbst. KI-Unternehmen kontrollieren große Rechenzentren, trainieren Frontier-Modelle, verfügen über die größte Expertise in der Nutzung dieser Modelle und haben in einigen Fällen täglichen Kontakt mit und die Möglichkeit zur Beeinflussung von zehn- oder hundert Millionen Nutzern. Das Hauptproblem ist, dass ihnen die Legitimität und die Infrastruktur eines Staates fehlen. Ich denke, die Governance von KI-Unternehmen verdient viel Kontrolle.

Wie verteidigen wir uns gegen diese vielfältigen Risiken?

Wir sollten auf keinen Fall Chips, Werkzeuge zur Chipherstellung oder Rechenzentren an die KPCh verkaufen. Chips und Werkzeuge zur Chipherstellung sind der größte Engpass für leistungsstarke KI, und sie zu blockieren ist eine einfache, aber äußerst wirksame Maßnahme, vielleicht die wichtigste Einzelmaßnahme, die wir ergreifen können. Es macht keinen Sinn, der KPCh die Werkzeuge zu verkaufen, mit denen sie einen totalitären KI-Staat aufbauen und uns möglicherweise militärisch erobern kann. China liegt in seiner Fähigkeit, Frontier-Chips in Mengen zu produzieren, mehrere Jahre hinter den Vereinigten Staaten zurück, und der kritische Zeitraum für den Aufbau des Landes der Genies im Rechenzentrum liegt höchstwahrscheinlich innerhalb dieser nächsten Jahre.

Zweitens ist es sinnvoll, KI einzusetzen, um Demokratien zu befähigen, Autokratien zu widerstehen. Dies ist der Grund, warum Anthropic es für wichtig hält, KI für die Geheimdienst- und Verteidigungsgemeinschaften in den Vereinigten Staaten und ihren demokratischen Verbündeten bereitzustellen. Die Verteidigung von unter Beschuss stehenden Demokratien wie der Ukraine und Taiwan scheint eine besonders hohe Priorität zu haben, ebenso wie die Befähigung von Demokratien, ihre Geheimdienste einzusetzen, um Autokratien von innen heraus zu destabilisieren und zu schwächen.

Drittens müssen wir eine harte Linie gegen KI-Missbrauch innerhalb von Demokratien ziehen. Die Formulierung, die ich entwickelt habe, lautet, dass wir KI für die nationale Verteidigung in jeder Hinsicht einsetzen sollten, außer in jenen, die uns unseren autokratischen Gegnern ähnlicher machen würden. Der Einsatz von KI für die heimische Massenüberwachung und Massenpropaganda scheint mir eine unüberschreitbare und völlig illegitime Grenze zu sein. Vollständig autonome Waffen und KI für die strategische Entscheidungsfindung sind schwieriger zu ziehende Linien, da sie legitime Anwendungen in der Verteidigung der Demokratie haben, aber gleichzeitig anfällig für Missbrauch sind. Hier denke ich, dass extreme Vorsicht und Kontrolle in Kombination mit Schutzplanken (Guardrails) zur Verhinderung von Missbrauch geboten sind.

Viertens sollten wir, nachdem wir eine harte Linie gegen KI-Missbrauch in Demokratien gezogen haben, diesen Präzedenzfall nutzen, um ein internationales Tabu gegen die schlimmsten Missbräuche leistungsstarker KI zu schaffen. Die Welt muss das dunkle Potenzial leistungsstarker KI in den Händen von Autokraten verstehen und anerkennen, dass bestimmte Nutzungen von KI einem Versuch gleichkommen, ihre Freiheit dauerhaft zu stehlen und einen totalitären Staat zu errichten, dem sie nicht entkommen können. Ich würde sogar argumentieren, dass in einigen Fällen großflächige Überwachung mit leistungsstarker KI, Massenpropaganda mit leistungsstarker KI und bestimmte Arten des offensiven Einsatzes vollständig autonomer Waffen als Verbrechen gegen die Menschlichkeit betrachtet werden sollten.

Viertes Risiko: Die wirtschaftliche Zerstörung. Dies ist das zentrale Thema von Vonneguts Das Klavierspiel (Player Piano): Wenn Maschinen alles tun, was bleibt dann für die Menschen?

Genau diese Resonanz. Im Jahr 2025 habe ich öffentlich davor gewarnt, dass die KI in den nächsten ein bis fünf Jahren die Hälfte aller White-Collar-Einstiegsjobs verdrängen könnte, während sie gleichzeitig das Wirtschaftswachstum und den wissenschaftlichen Fortschritt drastisch beschleunigt. Dies löste eine öffentliche Debatte aus. Viele CEOs, Technologen und Ökonomen stimmten zu, aber andere nahmen an, dass ich einem „Lump of Labor“-Trugschluss erlag und nicht verstand, wie Arbeitsmärkte funktionieren, und einige sahen den Zeitraum von ein bis fünf Jahren nicht und dachten, ich behaupte, dass die KI bereits jetzt Jobs verdrängt, was, wie ich zustimme, wahrscheinlich nicht der Fall ist. Es lohnt sich, im Detail zu untersuchen, warum ich über die Verdrängung von Arbeitsplätzen besorgt bin.

Das Tempo des Fortschritts in der KI ist viel schneller als bei früheren technologischen Revolutionen. In den letzten zwei Jahren haben sich KI-Modelle von der Fähigkeit, kaum eine einzige Codezeile zu vervollständigen, dazu entwickelt, für einige Personen, einschließlich Ingenieuren bei Anthropic, den gesamten oder fast den gesamten Code zu schreiben. Sogar legendäre Programmierer beschreiben sich zunehmend als „hinterher“. Bald könnten Modelle die gesamte Aufgabe eines Software-Ingenieurs von Ende zu Ende erledigen. Es ist für Menschen schwierig, sich an dieses Tempo des Wandels anzupassen, sowohl an die Veränderungen in der Art und Weise, wie ein bestimmter Job funktioniert, als auch an die Notwendigkeit, in neue Jobs zu wechseln. Wenn überhaupt, kann sich das Tempo weiter beschleunigen, da KI-Coding-Modelle die Aufgabe der KI-Entwicklung immer mehr beschleunigen. Um es klar zu sagen: Geschwindigkeit an sich bedeutet nicht, dass sich die Arbeitsmärkte und die Beschäftigung nicht irgendwann wieder erholen werden; es bedeutet nur, dass der kurzfristige Übergang ungewöhnlich schmerzhaft sein wird.

Die kognitive Breite ist der zweite Faktor: Die KI wird zu einer sehr breiten Palette menschlicher kognitiver Fähigkeiten fähig sein, vielleicht zu allen. Dies unterscheidet sich sehr von früheren Technologien wie der mechanisierten Landwirtschaft, dem Transportwesen oder sogar Computern. Dies wird es für Menschen schwieriger machen, problemlos von Jobs, die ersetzt werden, zu ähnlichen Jobs zu wechseln, für die sie geeignet wären. Die allgemeinen intellektuellen Fähigkeiten, die für Einstiegsjobs in beispielsweise Finanzen, Beratung und Recht erforderlich sind, sind recht ähnlich, auch wenn das spezifische Wissen sehr unterschiedlich ist. Eine Technologie, die nur einen der drei Bereiche stört, würde es den Mitarbeitern ermöglichen, zu den beiden nahegelegenen Alternativen zu wechseln oder denjenigen, die weniger vorbereitet sind, das Studienfach zu wechseln. Aber alle drei gleichzeitig zu stören, zusammen mit vielen anderen ähnlichen Jobs, könnte für die Menschen schwieriger anzupassen sein. Außerdem ist es nicht nur so, dass die meisten bestehenden Jobs gestört werden. Das ist schon früher passiert: Die Landwirtschaft machte einen riesigen Prozentsatz der Beschäftigung aus. Aber die Landwirte konnten in den relativ ähnlichen Job des Bedienens von Fabrikmaschinen wechseln, auch wenn dieser Job vorher nicht üblich gewesen war. Im Gegensatz dazu entspricht die KI immer mehr dem allgemeinen kognitiven Profil des Menschen, was bedeutet, dass sie auch in den neuen Jobs gut sein wird, die normalerweise als Reaktion auf die Automatisierung der alten geschaffen würden. Anders ausgedrückt: KI ist kein Ersatz für spezifische menschliche Jobs, sondern eher ein allgemeiner Ersatz für menschliche Arbeit.

Dritter Faktor: Selektion basierend auf kognitiven Fähigkeiten. Über eine breite Palette von Aufgaben hinweg scheint die KI vom unteren Ende der Fähigkeitsskala nach oben vorzurücken. Beim Programmieren beispielsweise haben sich unsere Modelle vom Niveau eines „mittelmäßigen Programmierers“ zu einem „starken Programmierer“ zu einem „sehr starken Programmierer“ entwickelt. Wir beginnen nun, die gleiche Progression bei White-Collar-Arbeit im Allgemeinen zu sehen. Wir riskieren daher eine Situation, in der die KI nicht Menschen mit spezifischen Fähigkeiten oder in spezifischen Berufen trifft, die sich durch Umschulung anpassen können, sondern Menschen mit bestimmten intrinsischen kognitiven Eigenschaften, nämlich geringerer intellektueller Fähigkeit, die schwieriger zu ändern ist. Es ist nicht klar, wohin diese Menschen gehen oder was sie tun werden, und ich bin besorgt, dass sie eine arbeitslose oder sehr schlecht bezahlte „Unterklasse“ bilden könnten. Um es klar zu sagen: Dinge, die dem etwas ähnlich sind, sind schon früher passiert, zum Beispiel glauben einige Ökonomen, dass Computer und das Internet einen „technologischen Wandel zugunsten qualifizierter Arbeitskräfte“ darstellen. Aber dieses Skill Biasing (Fähigkeitsverzerrung) war nicht so extrem, wie ich es bei der KI erwarte, und es wird angenommen, dass es zu einem Anstieg der Lohnungleichheit beigetragen hat, was also nicht gerade ein beruhigender Präzedenzfall ist.

Vierter Faktor: Die Fähigkeit, Lücken zu füllen. Die Art und Weise, wie sich menschliche Jobs angesichts neuer Technologien oft anpassen, besteht darin, dass es viele Aspekte des Jobs gibt und die neue Technologie, auch wenn sie den Menschen direkt zu ersetzen scheint, oft Lücken aufweist. Wenn jemand eine Maschine zur Herstellung von Widgets erfindet, müssen Menschen möglicherweise immer noch Rohmaterial in die Maschine laden. Selbst wenn dies nur ein Prozent des Aufwands für die manuelle Herstellung der Widgets erfordert, können menschliche Arbeiter einfach hundertmal mehr Widgets herstellen. Aber die KI ist nicht nur eine sich schnell entwickelnde Technologie, sondern auch eine sich schnell anpassende Technologie. Bei jeder Modellveröffentlichung messen KI-Unternehmen sorgfältig, worin das Modell gut ist und worin nicht, und die Kunden liefern diese Informationen auch nach dem Start. Schwächen können angegangen werden, indem Aufgaben gesammelt werden, die die aktuelle Lücke verkörpern, und das nächste Modell darauf trainiert wird. Zu Beginn der generativen KI bemerkten Nutzer, dass KI-Systeme bestimmte Schwächen hatten, wie etwa KI-Bildmodelle, die Hände mit der falschen Anzahl von Fingern generierten, und viele nahmen an, dass diese Schwächen der Technologie inhärent seien. Wenn sie es gewesen wären, hätte dies die Störung der Arbeitsplätze begrenzt. Aber praktisch jede dieser Schwächen wird schnell behoben, oft innerhalb weniger Monate.

Was sind die möglichen Abwehrmittel gegen diese beispiellose Störung?

Ich habe mehrere Vorschläge, von denen Anthropic einige bereits umsetzt. Das Erste ist einfach, genaue Daten darüber zu erhalten, was bei der Arbeitsplatzverdrängung in Echtzeit passiert. Wenn wirtschaftliche Veränderungen sehr schnell geschehen, ist es schwierig, zuverlässige Daten darüber zu erhalten, was passiert, und ohne zuverlässige Daten ist es schwierig, wirksame Maßnahmen zu entwerfen. Zum Beispiel fehlen den Regierungsdaten derzeit granulare und hochfrequente Daten über die Einführung von KI in Unternehmen und Branchen. Im letzten Jahr hat Anthropic einen Wirtschaftsindex betrieben und öffentlich freigegeben, der die Nutzung unserer Modelle fast in Echtzeit zeigt, unterteilt nach Branche, Aufgabe, Standort und sogar Dingen wie der Frage, ob eine Aufgabe automatisiert oder kollaborativ durchgeführt wird. Wir haben auch einen Economic Advisory Council, der uns hilft, diese Daten zu interpretieren und zu sehen, was auf uns zukommt.

Zweitens haben KI-Unternehmen eine Wahl, wie sie mit Unternehmen zusammenarbeiten. Die Ineffizienz traditioneller Unternehmen selbst bedeutet, dass ihr KI-Rollout stark von den anfänglichen Entscheidungen beeinflusst werden kann, und es gibt Raum, einen besseren Weg zu wählen. Unternehmen haben oft die Wahl zwischen „Kosteneinsparungen“, also das Gleiche mit weniger Menschen zu tun, und „Innovation“, also mehr mit der gleichen Anzahl von Menschen zu tun. Der Markt wird am Ende zwangsläufig beides hervorbringen, und jedes wettbewerbsfähige KI-Unternehmen wird beides bedienen müssen, aber es könnte Raum geben, Unternehmen wann immer möglich in Richtung Innovation zu lenken, was uns etwas Zeit verschaffen könnte. Anthropic denkt aktiv darüber nach.

Drittens sollten Unternehmen darüber nachdenken, wie sie sich um ihre Mitarbeiter kümmern. Kurzfristig könnte es ein vielversprechecher Weg sein, kreativ über Möglichkeiten zur Umverteilung von Mitarbeitern innerhalb von Unternehmen nachzudenken, um die Notwendigkeit von Entlassungen zu vermeiden. Langfristig könnte es in einer Welt mit enormem Gesamtwohlstand, in der viele Unternehmen aufgrund erhöhter Produktivität und Kapitalkonzentration massiv an Wert gewinnen, machbar sein, menschliche Mitarbeiter auch lange Zeit nachdem sie keinen wirtschaftlichen Wert im traditionellen Sinne mehr erbringen, zu bezahlen. Anthropic erwägt derzeit eine Reihe möglicher Wege für unsere Mitarbeiter, die wir in naher Zukunft teilen werden.

Viertens haben wohlhabende Personen die Verpflichtung, zur Lösung dieses Problems beizutragen. Es macht mich traurig, dass viele wohlhabende Personen, insbesondere in der Tech-Industrie, vor Kurzem eine zynische und nihilistische Haltung eingenommen haben, wonach Philanthropie zwangsläufig betrügerisch oder nutzlos sei. Sowohl private Philanthropie wie die Gates Foundation als auch öffentliche Programme wie PEPFAR haben zig Millionen Menschenleben in den Entwicklungsländern gerettet und dazu beigetragen, wirtschaftliche Möglichkeiten in der entwickelten Welt zu schaffen. Alle Mitbegründer von Anthropic haben sich verpflichtet, achtzig Prozent unseres Vermögens zu spenden, und die Mitarbeiter von Anthropic haben sich individuell verpflichtet, Unternehmensanteile im Wert von Milliarden zu aktuellen Preisen zu spenden – Spenden, zu deren Verdoppelung sich das Unternehmen verpflichtet hat.

Fünftens: Während alle oben genannten privaten Maßnahmen nützlich sein können, wird ein makroökonomisches Problem dieses Ausmaßes letztendlich staatliche Eingriffe erfordern. Die natürliche politische Antwort auf einen riesigen Wirtschaftskuchen gepaart mit hoher Ungleichheit aufgrund fehlender Arbeitsplätze oder schlecht bezahlter Jobs für viele ist eine progressive Besteuerung. Die Steuer könnte allgemein sein oder sie könnte gezielt gegen KI-Unternehmen im Besonderen gerichtet sein. Offensichtlich ist die Gestaltung von Steuern kompliziert, und es gibt viele Wege, auf denen sie schiefgehen kann. Ich unterstütze keine schlecht gestalteten Steuerpolitiken. Ich denke, dass die in diesem Essay vorhergesagten extremen Ausmaße an Ungleichheit eine robustere Steuerpolitik aus moralischen Gründen rechtfertigen, aber ich kann auch einen pragmatischen Appell an die Milliardäre der Welt richten, dass es in ihrem Interesse liegt, eine gute Version davon zu unterstützen: Wenn sie keine gute Version unterstützen, werden sie zwangsläufig eine schlechte Version bekommen, die von einer Menge entworfen wurde.

Aber Sie sprechen nicht nur über Arbeitslosigkeit. Es gibt auch das Problem der wirtschaftlichen Machtkonzentration, das davon getrennt, aber damit verbunden ist.

Ja, das ist ein eigenständiges Risiko. Getrennt vom Problem der Arbeitsplatzverdrängung oder der wirtschaftlichen Ungleichheit an sich ist das Problem der wirtschaftlichen Machtkonzentration. Eine andere Art der Entmachtung (Disempowerment) kann eintreten, wenn eine so enorme Konzentration von Reichtum besteht, dass eine kleine Gruppe von Menschen durch ihren Einfluss effektiv die Regierungspolitik kontrolliert und die einfachen Bürger keinen Einfluss haben, weil ihnen der wirtschaftliche Hebel fehlt. Die Demokratie wird letztendlich von der Idee getragen, dass die Bevölkerung als Ganzes für den Betrieb der Wirtschaft notwendig ist. Wenn dieser wirtschaftliche Hebel verschwindet, könnte der implizite Gesellschaftsvertrag der Demokratie aufhören zu funktionieren.

Um es klar zu sagen: Ich bin nicht dagegen, dass Menschen viel Geld verdienen. Viele haben über dieses Thema geschrieben, dass es unter normalen Bedingungen das Wirtschaftswachstum fördert, und ich stimme dem zu. Ich stimme den Sorgen zu, Innovationen zu behindern, indem man die Gans tötet, die die goldenen Eier legt. Aber in einem Szenario, in dem das BIP-Wachstum zehn bis zwanzig Prozent pro Jahr beträgt und die KI die Wirtschaft schnell übernimmt, einzelne Personen jedoch beachtliche Anteile am BIP halten, ist Innovation nicht das, worüber man sich Sorgen machen muss. Worüber man sich Sorgen machen muss, ist ein Grad an Reichtumskonzentration, der die Gesellschaft sprengen wird.

Das berühmteste Beispiel für extreme Reichtumskonzentration in der Geschichte der Vereinigten Staaten ist das Gilded Age, und der reichste Industrielle des Gilded Age war John D. Rockefeller. Rockefellers Vermögen belief sich auf etwa zwei Prozent des damaligen US-BIP. Ein ähnlicher Anteil würde heute zu einem Vermögen von sechshundert Milliarden Dollar führen, und der reichste Mensch der Welt heute, Elon Musk, überschreitet diese Zahl bereits mit etwa siebenhundert Milliarden. Wir befinden uns also bereits auf einem historisch beispiellosen Niveau der Reichtumskonzentration, noch vor dem größten Teil der wirtschaftlichen Auswirkungen der KI. Ich denke, es ist nicht zu weit hergeholt, sich bei einem „Land der Genies“ KI-Unternehmen, Halbleiterunternehmen und vielleicht nachgelagerte Anwendungsunternehmen vorzustellen, die etwa drei Billionen Umsatz pro Jahr generieren und mit etwa dreißig Billionen bewertet werden, was zu persönlichen Vermögen in der Größenordnung von Billionen führt. In dieser Welt werden die Debatten, die wir heute über die Steuerpolitik führen, schlicht nicht mehr zutreffen, da wir uns in einer grundlegend anderen Situation befinden werden.

Damit verbunden beunruhigt mich bereits die Kopplung dieser wirtschaftlichen Reichtumskonzentration mit dem politischen System. KI-Rechenzentren machen bereits einen erheblichen Anteil am Wirtschaftswachstum der Vereinigten Staaten aus und binden daher die finanziellen Interessen der großen Tech-Unternehmen, die sich zunehmend auf KI oder KI-Infrastruktur konzentrieren, und die politischen Interessen der Regierung stark aneinander, was zu perversen Anreizen führen kann. Wir sehen dies bereits an der Zurückhaltung der Tech-Unternehmen, die US-Regierung zu kritisieren, und an der Unterstützung der Regierung für eine extrem antiregulierungsorientierte Politik im Bereich der KI.

Was kann man dagegen tun?

Erstens, und am offensichtlichsten, sollten Unternehmen sich einfach entscheiden, nicht daran teilzunehmen. Anthropic hat sich immer bemüht, ein politischer und unpolitischer Akteur zu sein und unsere Ansichten authentisch zu halten, unabhängig von der jeweiligen Regierung. Wir haben uns für eine vernünftige KI-Regulierung und Exportkontrollen ausgesprochen, die im öffentlichen Interesse liegen, selbst wenn diese im Widerspruch zur Regierungspolitik standen. Viele Leute haben mir gesagt, dass wir damit aufhören sollten, dass es zu einer ungünstigen Behandlung führen könnte, aber in dem Jahr, in dem wir dies getan haben, ist die Bewertung von Anthropic um mehr als das Sechsfache gestiegen – ein fast beispielloser Sprung für unsere kommerzielle Größenordnung.

Zweitens braucht die KI-Industrie eine gesündere Beziehung zur Regierung, die auf substanziellem politischem Engagement statt auf politischer Angleichung basiert. Unsere Entscheidung, uns auf die politische Substanz statt auf die Politik zu konzentrieren, wird manchmal als taktischer Fehler oder als Unfähigkeit, die Stimmung im Raum zu erfassen, gelesen und nicht als eine prinzipielle Entscheidung, und dieses Framing beunruhigt mich. In einer gesunden Demokratie sollten Unternehmen in der Lage sein, eine für sie gute Politik zu unterstützen.

Drittens können die makroökonomischen Interventionen, die ich zuvor in diesem Abschnitt beschrieben habe, sowie ein Wiederaufleben der privaten Philanthropie dazu beitragen, das wirtschaftliche Gleichgewicht herzustellen und sowohl das Problem der Arbeitsplatzverdrängung als auch das der wirtschaftlichen Machtkonzentration gemeinsam anzugehen. Wir sollten hier auf die Geschichte unseres Landes blicken: Selbst im Gilded Age fühlten Industrielle wie Rockefeller und Carnegie eine starke Verpflichtung gegenüber der Gesellschaft im Allgemeinen – ein Gefühl, dass die Gesellschaft enorm zu ihrem Erfolg beigetragen hatte und dass sie etwas zurückgeben mussten. Dieser Geist scheint heute immer mehr zu fehlen, und ich denke, er ist ein großer Teil des Weges aus diesem wirtschaftlichen Dilemma. Diejenigen, die an der Spitze des wirtschaftlichen KI-Booms stehen, sollten bereit sein, sowohl ihren Reichtum als auch ihre Macht abzugeben.

Das fünfte und letzte Risiko betrifft indirekte Auswirkungen. Die unbekannten Unbekannten. Was beunruhigt Sie hier?

Dies ist eine umfassende Kategorie für sogenannte „Unknown Unknowns“: jene völlig unvorhersehbaren Unbekannten, insbesondere Dinge, die als indirektes Ergebnis positiver Fortschritte in der KI und der daraus resultierenden Beschleunigung von Wissenschaft und Technologie im Allgemeinen schiefgehen könnten. Nehmen wir an, wir gehen alle bisher beschriebenen Risiken an und beginnen, die Vorteile der KI zu ernten. Wir werden wahrscheinlich ein „Jahrhundert des wissenschaftlichen und wirtschaftlichen Fortschritts komprimiert in ein Jahrzehnt“ erleben, und das wird enorm positiv für die Welt sein, aber wir müssen uns dann mit den Problemen auseinandersetzen, die aus diesem rasanten Tempo des Fortschritts entstehen, und diese Probleme könnten schnell kommen.

Aufgrund der Natur der unbekannten Unbekannten ist es unmöglich, eine vollständige Liste zu erstellen, aber ich nenne drei als illustrative Beispiele. Rasante Fortschritte in der Biologie: Wenn wir in wenigen Jahren ein Jahrhundert medizinischen Fortschritts erleben, ist es möglich, dass wir die menschliche Lebensspanne erheblich verlängern, und es besteht die Möglichkeit, sogar radikale Fähigkeiten zu erlangen, wie die Möglichkeit, die menschliche Intelligenz zu steigern oder die menschliche Biologie radikal zu verändern. Dies wären große Veränderungen im Bereich des Möglichen, die sehr schnell eintreten würden. Sie könnten positiv sein, wenn sie verantwortungsbewusst durchgeführt werden, was meine Hoffnung ist, wie in Machines of Loving Grace beschrieben, aber es besteht immer das Risiko, dass sie schiefgehen – zum Beispiel, wenn Bemühungen, Menschen intelligenter zu machen, sie auch instabiler oder machtbesessener machen.

KI verändert das menschliche Leben auf ungesunde Weise: Eine Welt mit Milliarden von Intelligenzen, die in allem viel intelligenter sind als Menschen, wird eine sehr seltsame Welt sein, in der man lebt. Selbst wenn die KI nicht aktiv darauf abzielt, Menschen anzugreifen, und nicht explizit zur Unterdrückung oder Kontrolle durch Staaten eingesetzt wird, gibt es viele Dinge, die außerhalb dessen schiefgehen könnten, durch normale kommerzielle Anreize und nominell einvernehmliche Transaktionen. Erste Anzeichen dafür sehen wir in den Sorgen über KI-Psychosen, über KI, die Menschen in den Selbstmord treibt, und in Sorgen über romantische Beziehungen mit KI. Könnten zum Beispiel leistungsstarke KIs eine neue Religion erfinden und Millionen von Menschen dazu bekehren? Könnten die meisten Menschen in irgendeiner Weise „süchtig“ nach KI-Interaktionen werden?

Menschliche Bestimmung: Dies ist mit dem vorherigen Punkt verbunden, betrifft aber weniger spezifische menschliche Interaktionen mit KI-Systemen als vielmehr die Frage, wie sich das menschliche Leben im Allgemeinen in einer Welt mit leistungsstarker KI verändert. Werden die Menschen in der Lage sein, in einer solchen Welt Zweck und Bedeutung zu finden? Ich denke, das ist eine Frage der Einstellung: Wie ich in Machines of Loving Grace sagte, denke ich, dass die menschliche Bestimmung nicht davon abhängt, der Beste auf der Welt in etwas zu sein, und Menschen können Zweck auch über sehr lange Zeiträume hinweg durch Geschichten und Projekte finden, die sie lieben. Wir müssen einfach die Verbindung zwischen der Erzeugung wirtschaftlichen Wertes und dem Selbstwertgefühl sowie der Bedeutung brechen. Aber dies ist ein Übergang, den die Gesellschaft vollziehen muss, und es besteht immer das Risiko, dass wir ihn nicht gut bewältigen.

Meine Hoffnung bei all diesen potenziellen Problemen ist, dass wir in einer Welt mit einer leistungsstarken KI, der wir vertrauen und die uns nicht töten wird, die nicht das Werkzeug einer unterdrückerischen Regierung ist und die wirklich für uns arbeitet, die KI selbst nutzen können, um diese Probleme vorherzusehen und zu verhindern. Aber das ist nicht garantiert: Wie alle anderen Risiken ist es etwas, das wir mit Vorsicht angehen müssen.

Am Ende Ihres Essays schreiben Sie trotz dieser detaillierten Kartierung von Risiken und den Spannungen zwischen ihnen, dass Sie an die Fähigkeit der Menschheit glauben, sich durchzusetzen. Worauf stützt sich dieser Optimismus? Ist das nicht naiv?

Die Spannungen sind authentisch und wir müssen sie anerkennen. Sich Zeit zu nehmen, um KI-Systeme zu bauen, die die Menschheit nicht autonom bedrohen, steht in echter Spannung mit der Notwendigkeit für demokratische Nationen, den Autokratien voraus zu sein und nicht von ihnen unterworfen zu werden. Aber wiederum können dieselben KI-gestützten Werkzeuge, die zur Bekämpfung von Autokratien notwendig sind, wenn sie zu weit getrieben werden, nach innen gerichtet werden, um Tyrannei in unseren eigenen Ländern zu schaffen. KI-gestützter Terrorismus könnte Millionen durch den Missbrauch der Biologie töten, aber eine Überreaktion auf dieses Risiko könnte uns auf den Weg eines autokratischen Überwachungsstaates führen. Die Auswirkungen der KI auf Arbeitsplätze und wirtschaftliche Konzentration könnten uns – abgesehen davon, dass sie an sich ernste Probleme sind – dazu zwingen, die anderen Probleme in einem Umfeld öffentlicher Wut und vielleicht sogar ziviler Unruhen anzugehen, anstatt an die besten Ressourcen unserer Natur appellieren zu können. Vor allem die schiere Anzahl der Risiken, einschließlich der unbekannten, und die Notwendigkeit, sie alle zusammen anzugehen, schafft einen einschüchternden Spießrutenlauf, den die Menschheit durchlaufen muss.

Und das Anhalten oder Verlangsamen der Entwicklung ist keine Option.

Genau. Die letzten Jahre sollten klarmachen, dass die Idee, die Technologie anzuhalten oder auch nur wesentlich zu verlangsamen, grundlegend unhaltbar ist. Die Formel für den Bau leistungsstarker KI-Systeme ist unglaublich einfach, so sehr, dass man fast sagen kann, dass sie spontan aus der richtigen Kombination von Daten und roher Rechenleistung entsteht. Ihre Erschaffung war wahrscheinlich in dem Moment unvermeidlich, als die Menschheit den Transistor erfand, oder vielleicht sogar schon früher, als wir zum ersten Mal lernten, das Feuer zu kontrollieren. Wenn ein Unternehmen sie nicht baut, werden andere es fast genauso schnell tun. Wenn alle Unternehmen in demokratischen Ländern die Entwicklung stoppen oder verlangsamen würden, durch gegenseitige Vereinbarung oder regulatorisches Dekret, dann würden autoritäre Länder einfach weitermachen. Angesichts des unglaublichen wirtschaftlichen und militärischen Wertes der Technologie, zusammen mit dem Fehlen jeglicher wirksamen Durchsetzungsmechanismen, sehe ich nicht, wie wir sie möglicherweise zum Aufhören bewegen könnten.

Aber Sie schlagen einen spezifischen Weg vor. Welchen?

Ich sehe einen Weg zu einer leichten Mäßigung der KI-Entwicklung, der mit einer realistischen Sicht auf die Geopolitik vereinbar ist. Dieser Weg beinhaltet die Verlangsamung des Marsches der Autokratien zur leistungsstarken KI für einige Jahre, indem ihnen die für ihren Bau erforderlichen Ressourcen verweigert werden – nämlich Chips und Ausrüstung für die Halbleiterproduktion. Dies wiederum gibt demokratischen Ländern einen Puffer, den sie „ausgeben“ können, um die leistungsstarke KI sorgfältiger und mit mehr Aufmerksamkeit für ihre Risiken zu bauen, während sie dennoch schnell genug voranschreiten, um die Autokratien bequem zu schlagen. Der Wettbewerb zwischen KI-Unternehmen innerhalb von Demokratien kann dann unter dem Dach eines gemeinsamen Rechtsrahmens durch eine Mischung aus Industriestandards und Regulierung bewältigt werden.

Anthropic hat sich sehr stark für diesen Weg eingesetzt und auf Exportkontrollen für Chips und eine umsichtige KI-Regulierung gedrängt, aber selbst diese scheinbar vernünftigen Vorschläge wurden von den politischen Entscheidungsträgern in den Vereinigten Staaten, dem Land, in dem sie am wichtigsten sind, weitgehend abgelehnt. Es lässt sich mit KI so viel Geld verdienen, buchstäblich Billionen von Dollar pro Jahr, dass selbst die einfachsten Maßnahmen es schwer haben, die der KI inhärente politische Ökonomie zu überwinden. Das ist die Falle: KI ist so mächtig, ein so glitzernder Preis, dass es für die menschliche Zivilisation sehr schwierig ist, ihr irgendwelche Beschränkungen aufzuerlegen.

Und so kehren Sie zu Sagan zurück, zu dem Test, dem sich jede Zivilisation stellen muss.

Ich kann mir vorstellen, wie Sagan es in Contact getan hat, dass sich diese Geschichte auf tausenden Welten wiederholt. Eine Spezies erlangt Bewusstsein, lernt Werkzeuge zu benutzen, beginnt den exponentiellen Aufstieg der Technologie, stellt sich den Krisen der Industrialisierung und der Atomwaffen und, wenn sie diese überlebt, wird sie mit der härtesten und finalen Herausforderung konfrontiert, wenn sie lernt, Sand zu denkenden Maschinen zu formen. Ob wir diesen Test überleben und dazu übergehen, die schöne Gesellschaft aufzubauen, wie sie in Machines of Loving Grace beschrieben wurde, oder der Sklaverei und Zerstörung erliegen, wird von unserem Charakter und unserer Entschlossenheit als Spezies, von unserem Geist und unserer Seele abhängen.

Trotz der vielen Hindernisse glaube ich, dass die Menschheit die Kraft in sich hat, diesen Test zu bestehen. Mich ermutigen die Tausenden von Forschern, die ihre Karrieren gewidmet haben, um uns zu helfen, KI-Modelle zu verstehen und zu leiten, um den Charakter und die Verfassung dieser Modelle zu formen. Ich denke, es besteht nun eine gute Chance, dass diese Bemühungen rechtzeitig Früchte tragen. Mich ermutigt, dass zumindest einige Unternehmen erklärt haben, dass sie signifikante kommerzielle Kosten tragen werden, um zu verhindern, dass ihre Modelle zur Bedrohung durch Bioterrorismus beitragen. Mich ermutigt, dass einige mutige Menschen den vorherrschenden politischen Winden widerstanden und Gesetze verabschiedet haben, die die ersten Keime für vernünftige Schutzplanken für KI-Systeme säen. Mich ermutigt, dass die Öffentlichkeit versteht, dass KI Risiken birgt, und möchte, dass diese Risiken angegangen werden. Mich ermutigt der unbeugsame Geist der Freiheit in der Welt und die Entschlossenheit, der Tyrannei zu widerstehen, wo immer sie auftritt.

Aber es braucht ein kollektives Erwachen.

Wir müssen unsere Anstrengungen intensivieren, wenn wir erfolgreich sein wollen. Der erste Schritt besteht darin, dass diejenigen, die der Technologie am nächsten stehen, einfach die Wahrheit über die Situation sagen, in der sich die Menschheit befindet – was ich immer versucht habe zu tun. Mit diesem Essay tue ich dies expliziter und mit größerer Dringlichkeit. Der nächste Schritt wird sein, die Denker, politischen Entscheidungsträger, Unternehmen und Bürger der Welt von der Unmittelbarkeit und der vorrangigen Bedeutung dieser Frage zu überzeugen – dass es sich lohnt, darüber nachzudenken und politisches Kapital darauf zu verwenden, verglichen mit den tausenden anderen Themen, die jeden Tag die Nachrichten dominieren. Dann wird eine Zeit für Mut kommen, in der genug Menschen gegen den Strom schwimmen und zu ihren Prinzipien stehen, selbst angesichts von Bedrohungen für ihre wirtschaftlichen Interessen und ihre persönliche Sicherheit.

Die vor uns liegenden Jahre werden unglaublich schwierig sein; sie werden mehr von uns verlangen, als wir zu geben glauben. Aber in meiner Zeit als Forscher, Führungskraft und Bürger habe ich genug Mut und Edelmut gesehen, um zu glauben, dass wir gewinnen können – dass die Menschheit, wenn sie in die dunkelsten Umstände gerät, einen Weg hat, scheinbar in letzter Minute die Kraft und Weisheit zu sammeln, die notwendig sind, um zu siegen. Wir haben keine Zeit zu verlieren.