Dario Amodei e l'adolescenza tecnologica dell'umanità - Parte2

Riprendiamo e terminiamo, con questa seconda puntata, la lunga conversazione simulata con Dario Amodei, CEO di Anthropic, ricostruita a ritroso dalle riflessioni pubblicate nel suo ultimo saggio "The Adolescence of Technology". Un espediente narrativo per rendere più immediato il messaggio urgente che Amodei vuole lanciare: l'umanità sta entrando in un passaggio critico che potrebbe definirsi nei prossimi due anni.

---

Chi ti preoccupa di più, in ordine di gravità?

Il Partito Comunista Cinese. La Cina è seconda solo agli Stati Uniti nelle capacità AI ed è il paese con la maggiore probabilità di superare gli Stati Uniti in tali capacità. Il loro governo è attualmente autocratico e opera uno stato di sorveglianza high-tech. Ha già distribuito sorveglianza basata su AI, inclusa nella repressione degli Uiguri, e si crede impieghi propaganda algoritmica via TikTok oltre ai suoi molti altri sforzi di propaganda internazionale. Hanno chiaramente il percorso più diretto verso l'incubo totalitario abilitato dall'AI che ho delineato. Potrebbe persino essere l'esito di default all'interno della Cina, così come all'interno di altri stati autocratici a cui il PCC esporta tecnologia di sorveglianza. Ho scritto spesso sulla minaccia del PCC che prende il comando nell'AI e sull'imperativo esistenziale di prevenire che lo facciano. Questo è il perché. Per essere chiari, sono il popolo cinese stesso che ha più probabilità di soffrire della repressione abilitata dall'AI del PCC, e non hanno voce nelle azioni del loro governo. Ammiro e rispetto profondamente il popolo cinese e sostengo i molti coraggiosi dissidenti all'interno della Cina e la loro lotta per la libertà.

Poi ci sono le democrazie competitive nell'AI. Come ho scritto, le democrazie hanno un interesse legittimo in alcuni strumenti militari e geopolitici potenziati dall'AI, perché i governi democratici offrono la migliore possibilità di contrastare l'uso di questi strumenti da parte delle autocrazie. Sono in generale favorevole ad armare le democrazie con gli strumenti necessari per sconfiggere le autocrazie nell'era dell'AI, semplicemente non penso ci sia altro modo. Ma non possiamo ignorare il potenziale di abuso di queste tecnologie da parte degli stessi governi democratici. Le democrazie normalmente hanno salvaguardie che impediscono al loro apparato militare e di intelligence di essere rivolto verso l'interno contro la propria popolazione, ma poiché gli strumenti AI richiedono così poche persone per operare, c'è il potenziale che possano aggirare queste salvaguardie e le norme che le supportano.

Poi i paesi non democratici con grandi datacenter, e infine le aziende AI stesse. È un po' imbarazzante dirlo come CEO di un'azienda AI, ma penso che il prossimo livello di rischio sia in realtà le aziende AI stesse. Le aziende AI controllano grandi datacenter, addestrano modelli frontier, hanno la maggiore expertise su come usare quei modelli, e in alcuni casi hanno contatto quotidiano con e la possibilità di influenza su decine o centinaia di milioni di utenti. La cosa principale che manca loro è la legittimità e l'infrastruttura di uno stato. Penso che la governance delle aziende AI meriti molto controllo.

Come ci si difende da questi rischi multiformi?

Non dovremmo assolutamente vendere chip, strumenti per fare chip o datacenter al PCC. I chip e gli strumenti per fare chip sono il singolo maggior collo di bottiglia per l'AI potente, e bloccarli è una misura semplice ma estremamente efficace, forse la singola azione più importante che possiamo intraprendere. Non ha senso vendere al PCC gli strumenti con cui costruire uno stato totalitario AI e possibilmente conquistarci militarmente. La Cina è diversi anni indietro rispetto agli Stati Uniti nella loro capacità di produrre chip frontier in quantità, e il periodo critico per costruire il paese di geni nel datacenter è molto probabilmente all'interno di quei prossimi anni.

Secondo, ha senso usare l'AI per potenziare le democrazie a resistere alle autocrazie. Questa è la ragione per cui Anthropic considera importante fornire AI alle comunità di intelligence e difesa negli Stati Uniti e nei suoi alleati democratici. Difendere democrazie sotto attacco, come l'Ucraina e Taiwan, sembra priorità particolarmente alta, così come potenziare le democrazie a usare i loro servizi di intelligence per destabilizzare e degradare le autocrazie dall'interno.

Terzo, dobbiamo tracciare una linea dura contro gli abusi dell'AI all'interno delle democrazie. La formulazione che ho elaborato è che dovremmo usare l'AI per la difesa nazionale in tutti i modi tranne quelli che ci renderebbero più simili ai nostri avversari autocratici. Usare l'AI per sorveglianza di massa domestica e propaganda di massa mi sembrano confini invalicabilii e completamente illegittime. Le armi completamente autonome e l'AI per il decision-making strategico sono linee più difficili da tracciare poiché hanno usi legittimi nella difesa della democrazia, pur essendo prone ad abuso. Qui penso che ciò che è garantito sia estrema cautela e controllo combinati con guardrail per prevenire abusi.

Quarto, dopo aver tracciato una linea dura contro gli abusi dell'AI nelle democrazie, dovremmo usare quel precedente per creare un tabù internazionale contro i peggiori abusi dell'AI potente. Il mondo deve capire il potenziale oscuro dell'AI potente nelle mani degli autocrati, e riconoscere che certi usi dell'AI ammontano a un tentativo di rubare permanentemente la loro libertà e imporre uno stato totalitario da cui non possono sfuggire. Argomenterei persino che in alcuni casi, sorveglianza su larga scala con AI potente, propaganda di massa con AI potente, e certi tipi di usi offensivi di armi completamente autonome dovrebbero essere considerati crimini contro l'umanità.

Quarto rischio: la distruzione economica. È il tema centrale del Player Piano di Vonnegut: quando le macchine fanno tutto, cosa resta agli umani?

Esattamente quella risonanza. Nel 2025 ho avvertito pubblicamente che l'AI potrebbe spostare la metà di tutti i lavori white collar entry-level nei prossimi uno-cinque anni, anche mentre accelera drasticamente la crescita economica e il progresso scientifico. Questo ha avviato un dibattito pubblico. Molti CEO, tecnologi ed economisti erano d'accordo, ma altri hanno assunto che stessi cadendo preda di una fallacia del "lump of labor" (fallacia della quantità fissa di lavoro) e non capissi come funzionano i mercati del lavoro, e alcuni non hanno visto il range temporale di uno-cinque anni e hanno pensato stessi affermando che l'AI sta spostando lavori proprio adesso, cosa che concordo non sta probabilmente facendo. Vale la pena esaminare in dettaglio perché sono preoccupato dello spostamento del lavoro.

Il ritmo del progresso nell'AI è molto più veloce delle precedenti rivoluzioni tecnologiche. Negli ultimi due anni, i modelli AI sono passati dal poter completare a malapena una singola linea di codice allo scrivere tutto o quasi tutto il codice per alcune persone, inclusi ingegneri ad Anthropic. Persino programmatori leggendari stanno sempre più descrivendo se stessi come "indietro". Presto i modelli potrebbero fare l'intero compito di un ingegnere software end to end. È difficile per le persone adattarsi a questo ritmo di cambiamento, sia ai cambiamenti di come un dato lavoro funziona sia nella necessità di passare a nuovi lavori. Il ritmo può se mai continuare ad accelerare, man mano che i modelli di coding AI accelerano sempre più il compito dello sviluppo AI. Per essere chiari, la velocità in sé non significa che i mercati del lavoro e l'occupazione non si riprenderanno alla fine, significa solo che la transizione a breve termine sarà insolitamente dolorosa.

L'ampiezza cognitiva è il secondo fattore: l'AI sarà capace di una gamma molto ampia di abilità cognitive umane, forse tutte loro. Questo è molto diverso dalle precedenti tecnologie come l'agricoltura meccanizzata, il trasporto, o persino i computer. Questo renderà più difficile per le persone passare facilmente da lavori che vengono sostituiti a lavori simili per cui sarebbero adatte. Le abilità intellettuali generali richieste per lavori entry-level in, diciamo, finanza, consulenza e legge sono abbastanza simili, anche se la conoscenza specifica è piuttosto diversa. Una tecnologia che interrompe solo uno dei tre permetterebbe ai dipendenti di passare ai due sostituti vicini, o a quelli meno preparati di cambiare major. Ma interromperli tutti e tre contemporaneamente, insieme a molti altri lavori simili, potrebbe essere più difficile per le persone da adattare. Inoltre, non è solo che la maggior parte dei lavori esistenti sarà interrotta. Anche questo è successo prima: l'agricoltura era una percentuale enorme dell'occupazione. Ma gli agricoltori potevano passare al lavoro relativamente simile di operare macchinari di fabbrica, anche se quel lavoro non era stato comune prima. Al contrario, l'AI sta sempre più incontrando il profilo cognitivo generale degli umani, il che significa che sarà anche brava nei nuovi lavori che sarebbero ordinariamente creati in risposta ai vecchi che vengono automatizzati. Un altro modo per dirlo è che l'AI non è un sostituto per lavori umani specifici ma piuttosto un sostituto generale del lavoro per gli umani.

Terzo fattore: la selezione basata sulle capacità cognitive. Attraverso una vasta gamma di compiti, l'AI sembra avanzare dal basso della scala di abilità verso l'alto. Per esempio, nel coding i nostri modelli sono proceduti dal livello di "programmatore mediocre" a "programmatore forte" a "programmatore molto forte". Stiamo ora iniziando a vedere la stessa progressione nel lavoro white collar in generale. Siamo quindi a rischio di una situazione dove, invece di influenzare persone con abilità specifiche o in professioni specifiche che possono adattarsi riaddestrandosi, l'AI sta influenzando persone con certe proprietà cognitive intrinseche, vale a dire minore abilità intellettuale, che è più difficile da cambiare. Non è chiaro dove queste persone andranno o cosa faranno, e sono preoccupato potrebbero formare una "underclass" disoccupata o con salari molto bassi. Per essere chiari, cose un po' simili a questa sono successe prima, per esempio i computer e internet sono creduti da alcuni economisti rappresentare "cambiamento tecnologico che favorisce i lavoratori qualificati". Ma questo skill biasing (orientamento alle competenze) non era tanto estremo quanto quello che mi aspetto di vedere con l'AI, e si crede abbia contribuito a un aumento dell'ineguaglianza salariale, quindi non è esattamente un precedente rassicurante.

Quarto: la capacità di riempire i vuoti. Il modo in cui i lavori umani si adattano spesso di fronte a nuove tecnologie è che ci sono molti aspetti del lavoro, e la nuova tecnologia, anche se sembra sostituire direttamente gli umani, spesso ha lacune. Se qualcuno inventa una macchina per fare widget, gli umani potrebbero comunque dover caricare materiale grezzo nella macchina. Anche se questo richiede solo l'uno percento dello sforzo di fare i widget manualmente, i lavoratori umani possono semplicemente fare cento volte più widget. Ma l'AI, oltre a essere una tecnologia che avanza rapidamente, è anche una tecnologia che si adatta rapidamente. Durante ogni rilascio di modello, le aziende AI misurano attentamente in cosa il modello è bravo e in cosa non lo è, e i clienti forniscono anche tali informazioni dopo il lancio. Le debolezze possono essere affrontate raccogliendo compiti che incarnano l'attuale lacuna e addestrando su di essi per il prossimo modello. All'inizio dell'AI generativa, gli utenti hanno notato che i sistemi AI avevano certe debolezze, come i modelli di immagini AI che generavano mani con il numero sbagliato di dita, e molti hanno assunto che queste debolezze fossero intrinseche alla tecnologia. Se lo fossero state, avrebbe limitato l'interruzione dei lavori. Ma praticamente ognuna di queste debolezze viene affrontata rapidamente, spesso entro pochi mesi.

Quali sono le difese possibili contro questa interruzione senza precedenti?

Ho diverse suggerimenti, alcuni dei quali Anthropic sta già facendo. La prima cosa è semplicemente ottenere dati accurati su cosa sta accadendo con lo spostamento del lavoro in tempo reale. Quando un cambiamento economico accade molto rapidamente, è difficile ottenere dati affidabili su cosa sta accadendo, e senza dati affidabili è difficile progettare politiche efficaci. Per esempio, i dati governativi attualmente mancano di dati granulari e ad alta frequenza sull'adozione dell'AI attraverso aziende e industrie. Per l'ultimo anno Anthropic ha operato e rilasciato pubblicamente un Economic Index che mostra l'uso dei nostri modelli quasi in tempo reale, suddiviso per industria, compito, posizione, e persino cose come se un compito venisse automatizzato o condotto collaborativamente. Abbiamo anche un Economic Advisory Council per aiutarci a interpretare questi dati e vedere cosa sta arrivando.

Secondo, le aziende AI hanno una scelta su come lavorano con le imprese. La stessa inefficienza delle imprese tradizionali significa che il loro rollout dell'AI può essere fortemente condizionato dalle scelte iniziali, e c'è spazio per scegliere un percorso migliore. Le imprese hanno spesso una scelta tra "risparmi sui costi", fare la stessa cosa con meno persone, e "innovazione", fare di più con lo stesso numero di persone. Il mercato produrrà inevitabilmente entrambi alla fine, e qualsiasi azienda AI competitiva dovrà servire un po' di entrambi, ma potrebbe esserci spazio per indirizzare le aziende verso l'innovazione quando possibile, e potrebbe farci guadagnare un po' di tempo. Anthropic sta pensando attivamente a questo.

Terzo, le aziende dovrebbero pensare a come prendersi cura dei loro dipendenti. Nel breve termine, essere creativi su modi per riassegnare dipendenti all'interno delle aziende potrebbe essere un modo promettente per evitare la necessità di licenziamenti. Nel lungo termine, in un mondo con enorme ricchezza totale, in cui molte aziende aumentano notevolmente in valore a causa di aumentata produttività e concentrazione di capitale, potrebbe essere fattibile pagare dipendenti umani anche molto tempo dopo che non stanno più fornendo valore economico nel senso tradizionale. Anthropic sta attualmente considerando una gamma di possibili percorsi per i nostri dipendenti che condivideremo nel prossimo futuro.

Quarto, gli individui ricchi hanno l'obbligo di aiutare a risolvere questo problema. È triste per me che molti individui ricchi, specialmente nell'industria tech, abbiano recentemente adottato un atteggiamento cinico e nichilistico che la filantropia sia inevitabilmente fraudolenta o inutile. Sia la filantropia privata come la Gates Foundation che i programmi pubblici come PEPFAR hanno salvato decine di milioni di vite nel mondo in via di sviluppo, e hanno aiutato a creare opportunità economica nel mondo sviluppato. Tutti i co-fondatori di Anthropic si sono impegnati a donare l'ottanta percento della nostra ricchezza, e lo staff di Anthropic si è individualmente impegnato a donare azioni aziendali per un valore di miliardi ai prezzi attuali, donazioni che l'azienda si è impegnata a pareggiare.

Quinto, mentre tutte le azioni private di cui sopra possono essere utili, in definitiva un problema macroeconomico di questa portata richiederà intervento governativo. La risposta politica naturale a una torta economica enorme accoppiata con alta ineguaglianza, dovuta a una mancanza di lavori o lavori mal pagati per molti, è la tassazione progressiva. La tassa potrebbe essere generale o potrebbe essere mirata contro le aziende AI in particolare. Ovviamente il design delle tasse è complicato, e ci sono molti modi in cui può andare storto. Non supporto politiche fiscali mal progettate. Penso che i livelli estremi di ineguaglianza predetti in questo saggio giustifichino una politica fiscale più robusta su basi morali, ma posso anche fare un appello pragmatico ai miliardari del mondo che è nel loro interesse supportare una buona versione di essa: se non supportano una buona versione, otterranno inevitabilmente una cattiva versione progettata da una folla.

Ma non parli solo di disoccupazione. C'è anche il problema della concentrazione economica del potere, che è separato ma collegato.

Sì, è un rischio distinto. Separato dal problema dello spostamento del lavoro o dall'ineguaglianza economica di per sé è il problema della concentrazione economica del potere. Un altro tipo di disempowerment può verificarsi se c'è una tale enorme concentrazione di ricchezza che un piccolo gruppo di persone controlla effettivamente la politica governativa con la loro influenza, e i cittadini ordinari non hanno influenza perché mancano di leva economica. La democrazia è in definitiva sostenuta dall'idea che la popolazione nel suo insieme è necessaria per l'operazione dell'economia. Se quella leva economica scompare, allora il contratto sociale implicito della democrazia potrebbe smettere di funzionare.

Per essere chiari, non sono contrario alle persone che fanno molti soldi. In molti hanno scritto su questo argomento che incentiva la crescita economica in condizioni normali, e io sono d'accordo. Concordo con le preoccupazioni sull'impedire l'innovazione uccidendo la gallina dalle uova d'oro che la genera. Ma in uno scenario dove la crescita del PIL è del dieci-venti percento all'anno e l'AI sta rapidamente prendendo il controllo dell'economia, eppure singoli individui detengono frazioni apprezzabili del PIL, l'innovazione non è la cosa di cui preoccuparsi. La cosa di cui preoccuparsi è un livello di concentrazione di ricchezza che romperà la società.

L'esempio più famoso di estrema concentrazione di ricchezza nella storia degli Stati Uniti è la Gilded Age, e l'industriale più ricco della Gilded Age era John D. Rockefeller. La ricchezza di Rockefeller ammontava a circa il due percento del PIL USA dell'epoca. Una frazione simile oggi porterebbe a una fortuna di seicento miliardi di dollari, e la persona più ricca del mondo oggi, Elon Musk, già supera quella cifra attestandosi a circa settecento miliardi. Siamo quindi già a livelli storicamente senza precedenti di concentrazione di ricchezza, anche prima della maggior parte dell'impatto economico dell'AI. Non penso sia troppo azzardatoo, se otteniamo un "paese di geni", immaginare aziende AI, aziende di semiconduttori e forse aziende di applicazioni downstream che generano circa tre trilioni in ricavi all'anno, valutate a circa trenta trilioni, portando a fortune personali nell'ordine dei trilioni. In quel mondo, i dibattiti che abbiamo oggi sulla politica fiscale semplicemente non si applicheranno poiché saremo in una situazione fondamentalmente diversa.

Collegato a questo, l'accoppiamento di questa concentrazione economica di ricchezza con il sistema politico mi preoccupa già. I datacenter AI rappresentano già una frazione sostanziale della crescita economica degli Stati Uniti, e stanno quindi legando fortemente insieme gli interessi finanziari delle grandi aziende tech, che si concentrano sempre più su AI o infrastruttura AI, e gli interessi politici del governo in un modo che può produrre incentivi perversi. Vediamo già questo attraverso la riluttanza delle aziende tech a criticare il governo USA, e il supporto del governo per politiche estremamente anti-regolatorie sull'AI.

Cosa si può fare contro questo?

Primo, e più ovviamente, le aziende dovrebbero semplicemente scegliere di non farne parte. Anthropic si è sempre sforzata di essere un attore politico e non politico, e di mantenere le nostre opinioni autentiche qualunque sia l'amministrazione. Abbiamo parlato a favore di regolazione sensata dell'AI e controlli sulle esportazioni che sono nell'interesse pubblico, anche quando questi sono in contrasto con la politica governativa. Molte persone mi hanno detto che dovremmo smettere di farlo, che potrebbe portare a trattamento sfavorevole, ma nell'anno in cui lo abbiamo fatto, la valutazione di Anthropic è aumentata di oltre sei volte, un salto quasi senza precedenti per la nostra scala commerciale.

Secondo, l'industria AI ha bisogno di una relazione più sana con il governo, basata su engagement politico sostanziale piuttosto che su allineamento politico. La nostra scelta di impegnarci sulla sostanza politica piuttosto che sulla politica viene a volte letta come un errore tattico o un fallimento nel "leggere la stanza" piuttosto che una decisione di principio, e quel framing mi preoccupa. In una democrazia sana, le aziende dovrebbero essere capaci di sostenere buone politiche per se stesse.

Terzo, gli interventi macroeconomici che ho descritto prima in questa sezione, così come una rinascita della filantropia privata, possono aiutare a bilanciare le scale economiche, affrontando sia il problema dello spostamento del lavoro che quello della concentrazione del potere economico insieme. Dovremmo guardare alla storia del nostro paese qui: anche nella Gilded Age, industriali come Rockefeller e Carnegie sentivano un forte obbligo verso la società in generale, un sentimento che la società aveva contribuito enormemente al loro successo e che avevano bisogno di restituire. Quello spirito sembra essere sempre più mancante oggi, e penso sia una grande parte della via d'uscita da questo dilemma economico. Coloro che sono in prima linea nel boom economico dell'AI dovrebbero essere disposti a dare via sia la loro ricchezza che il loro potere.

Il quinto e ultimo rischio riguarda gli effetti indiretti. Le incognite ignote. Cosa ti preoccupa qui?

Questa è una categoria onnicomprensiva per i cosiddetti 'unknown unknowns': quelle incognite totalmente imprevedibili, in particolarmente cose che potrebbero andare storte come risultato indiretto di progressi positivi nell'AI e della risultante accelerazione della scienza e della tecnologia in generale. Supponiamo di affrontare tutti i rischi descritti finora e iniziare a raccogliere i benefici dell'AI. Otterremo probabilmente un "secolo di progresso scientifico ed economico compresso in un decennio", e questo sarà enormemente positivo per il mondo, ma dovremo poi confrontarci con i problemi che sorgono da questo rapido tasso di progresso, e quei problemi potrebbero arrivare velocemente.

Per la natura delle incognite ignote è impossibile fare una lista esaustiva, ma ne elenco tre come esempi illustrativi. Rapidi progressi in biologia: se otteniamo un secolo di progresso medico in pochi anni, è possibile che aumenteremo notevolmente la durata della vita umana, e c'è la possibilità di guadagnare anche capacità radicali come la possibilità di aumentare l'intelligenza umana o modificare radicalmente la biologia umana. Si tratterebbe di grandi cambiamenti nel possibile, che avverrebbero molto rapidamente. Potrebbero essere positivi se fatti responsabilmente, che è la mia speranza come descritto in Machines of Loving Grace, ma c'è sempre un rischio che vadano storti, per esempio se gli sforzi per rendere gli umani più intelligenti li rendono anche più instabili o alla ricerca del potere.

L'AI cambia la vita umana in modo malsano: un mondo con miliardi di intelligenze molto più intelligenti degli umani in tutto sarà un mondo molto strano in cui vivere. Anche se l'AI non mira attivamente ad attaccare gli umani, e non viene esplicitamente usata per oppressione o controllo da parte degli stati, ci sono molte cose che potrebbe andare storte al di fuori di questo, attraverso normali incentivi commerciali e transazioni nominalmente consensuali. Vediamo primi accenni di questo nelle preoccupazioni sulla psicosi AI, sull'AI che porta le persone al suicidio, e preoccupazioni sulle relazioni romantiche con AI. Come esempio, potrebbero le AI potenti inventare qualche nuova religione e convertire milioni di persone ad essa? Potrebbero la maggior parte delle persone finire "dipendenti" in qualche modo dalle interazioni AI?

Scopo umano: questo è collegato al punto precedente, ma non riguarda tanto le interazioni umane specifiche con i sistemi AI quanto come la vita umana cambia in generale in un mondo con AI potente. Saranno gli umani capaci di trovare scopo e significato in tale mondo? Penso che questo sia una questione di atteggiamento: come ho detto in Machines of Loving Grace, penso che lo scopo umano non dipenda dall'essere il migliore al mondo in qualcosa, e gli umani possono trovare scopo anche per periodi molto lunghi di tempo attraverso storie e progetti che amano. Dobbiamo semplicemente rompere il legame tra la generazione di valore economico e autostima e significato. Ma questa è una transizione che la società deve fare, e c'è sempre il rischio che non la gestiamo bene.

La mia speranza, con tutti questi potenziali problemi, è che in un mondo con un'IA potente di cui ci fidiamo e che non ci ucciderà, che non è lo strumento di un governo oppressivo e che lavora davvero per noi, possiamo usare l'IA stessa per anticipare e prevenire questi problemi. Ma questo non è garantito: come tutti gli altri rischi, è qualcosa che dobbiamo gestire con cautela.

Alla fine del tuo saggio, nonostante questa mappatura così dettagliata dei rischi e delle tensioni tra di essi, scrivi che credi nella capacità dell'umanità di prevalere. Su cosa si basa questo ottimismo? Non è ingenuo?

Le tensioni sono autentiche e dobbiamo riconoscerle. Prendere tempo per costruire sistemi AI che non minaccino autonomamente l'umanità è in tensione genuina con il bisogno per le nazioni democratiche di rimanere davanti alle autocrazie e non essere soggiogate da esse. Ma a loro volta, gli stessi strumenti potenziati dall'AI necessari per combattere le autocrazie possono, se portati troppo oltre, essere rivolti verso l'interno per creare tirannia nei nostri stessi paesi. Il terrorismo potenziato dall'AI potrebbe uccidere milioni attraverso l'uso improprio della biologia, ma una reazione eccessiva a questo rischio potrebbe portarci sulla strada di uno stato di sorveglianza autocratico. Gli effetti sul lavoro e sulla concentrazione economica dell'AI, oltre a essere problemi gravi in sé, potrebbero costringerci ad affrontare gli altri problemi in un ambiente di rabbia pubblica e forse persino disordini civili, anziché poter fare appello alle migliori risorse della nostra natura. Soprattutto, il semplice numero di rischi, inclusi quelli sconosciuti, e la necessità di affrontarli tutti insieme, crea un guanto di sfida intimidatorio che l'umanità deve attraversare.

E fermare o rallentare lo sviluppo non è un'opzione.

Esattamente. Gli ultimi anni dovrebbero chiarire che l'idea di fermare o persino rallentare sostanzialmente la tecnologia è fondamentalmente insostenibile. La formula per costruire sistemi AI potenti è incredibilmente semplice, tanto che può quasi dirsi emergere spontaneamente dalla giusta combinazione di dati e calcolo grezzo. La sua creazione era probabilmente inevitabile nell'istante in cui l'umanità ha inventato il transistor, o forse anche prima quando abbiamo imparato per la prima volta a controllare il fuoco. Se un'azienda non la costruisce, altre lo faranno quasi altrettanto velocemente. Se tutte le aziende nei paesi democratici si fermassero o rallentassero lo sviluppo, per accordo reciproco o decreto regolatorio, allora i paesi autoritari continuerebbero semplicemente. Dato l'incredibile valore economico e militare della tecnologia, insieme alla mancanza di qualsiasi meccanismo di enforcement significativo, non vedo come potremmo possibilmente convincerli a fermarsi.

Ma proponi un percorso specifico. Quale?

Vedo un percorso verso una moderazione leggera nello sviluppo dell'AI compatibile con una visione realista della geopolitica. Quel percorso coinvolge il rallentamento della marcia delle autocrazie verso l'AI potente per pochi anni negando loro le risorse necessarie per costruirla, vale a dire chip e attrezzature per la produzione di semiconduttori. Questo a sua volta dà ai paesi democratici un buffer che possono "spendere" per costruire l'AI potente più attentamente, con più attenzione ai suoi rischi, procedendo comunque abbastanza velocemente da battere comodamente le autocrazie. La corsa tra le aziende AI all'interno delle democrazie può poi essere gestita sotto l'ombrello di un quadro legale comune, tramite un mix di standard industriali e regolazione.

Anthropic ha sostenuto molto fortemente questo percorso, spingendo per controlli sulle esportazioni di chip e regolazione giudiziosa dell'AI, ma anche queste proposte apparentemente di buon senso sono state in gran parte respinte dai policymaker negli Stati Uniti, che è il paese dove è più importante averle. C'è così tanto denaro da fare con l'AI, letteralmente trilioni di dollari all'anno, che anche le misure più semplici stanno trovando difficile superare l'economia politica intrinseca nell'AI. Questa è la trappola: l'AI è così potente, un premio così scintillante, che è molto difficile per la civiltà umana imporre qualsiasi vincolo su di essa.

E quindi torni a Sagan, al test che ogni civiltà deve affrontare.

Posso immaginare, come Sagan ha fatto in Contact, che questa stessa storia si ripeta su migliaia di mondi. Una specie acquisisce la senzienza, impara a usare strumenti, inizia l'ascesa esponenziale della tecnologia, affronta le crisi dell'industrializzazione e delle armi nucleari, e se sopravvive a quelle, confronta la sfida più dura e finale quando impara a modellare la sabbia in macchine che pensano. Se sopravviviamo a quel test e andiamo avanti a costruire la bella società descritta in Machines of Loving Grace, o soccombiamo alla schiavitù e alla distruzione, dipenderà dal nostro carattere e dalla nostra determinazione come specie, dal nostro spirito e dalla nostra anima.

Nonostante i molti ostacoli, credo che l'umanità abbia dentro di sé la forza per superare questo test. Sono incoraggiato dalle migliaia di ricercatori che hanno dedicato le loro carriere ad aiutarci a capire e guidare i modelli AI, a modellare il carattere e la costituzione di questi modelli. Penso ci sia ora una buona probabilità che quegli sforzi diano frutti in tempo utile. Sono incoraggiato che almeno alcune aziende abbiano dichiarato che pagheranno costi commerciali significativi per bloccare i loro modelli dal contribuire alla minaccia del bioterrorismo. Sono incoraggiato che alcune persone coraggiose abbiano resistito ai venti politici prevalenti e approvato legislazione che mette i primi semi iniziali di guardrail sensati sui sistemi AI. Sono incoraggiato che il pubblico capisca che l'AI comporta rischi e vuole che quei rischi vengano affrontati. Sono incoraggiato dallo spirito indomito di libertà nel mondo e dalla determinazione a resistere alla tirannia ovunque si verifichi.

Ma serve un risveglio collettivo.

Dobbiamo intensificare i nostri sforzi se vogliamo avere successo. Il primo passo è che coloro più vicini alla tecnologia dicano semplicemente la verità sulla situazione in cui si trova l'umanità, cosa che ho sempre cercato di fare. Sto facendo questo più esplicitamente e con maggiore urgenza con questo saggio. Il passo successivo sarà convincere i pensatori, i policymaker, le aziende e i cittadini del mondo dell'imminenza e dell'importanza prioritaria di questa questione, che vale la pena spendere pensiero e capitale politico su questo in confronto alle migliaia di altre questioni che dominano le notizie ogni giorno. Poi ci sarà un tempo per il coraggio, perché abbastanza persone vadano controcorrente e si ergano sui principi, anche di fronte a minacce ai loro interessi economici e alla sicurezza personale.

Gli anni davanti a noi saranno incredibilmente difficili, chiederanno più di quanto pensiamo di poter dare. Ma nel mio tempo come ricercatore, leader e cittadino, ho visto abbastanza coraggio e nobiltà per credere che possiamo vincere, che quando messa nelle circostanze più oscure, l'umanità ha un modo di raccogliere, apparentemente all'ultimo minuto, la forza e la saggezza necessarie per prevalere. Non abbiamo tempo da perdere.