L’intelligenza artificiale e la banalità del bene

Ieri sera ho preparato una lezione con l’intelligenza artificiale. Lo faccio quasi ogni giorno, e lo faccio massicciamente: le chiedo esercizi, verifiche, flashcard, slide. In un racconto che ho scritto ne ho fatto perfino un personaggio, accanto a un bambino: un’intelligenza artificiale al servizio dell’uomo, che gli rende la vita più semplice. Non scrivo quindi da spaventato, e non ho nessuna intenzione di scrivere l’ennesimo articolo che annuncia la fine del mondo.

Però questa settimana sono successe due cose che vale la pena mettere in fila.

L’altro ieri un ricercatore di ventisette anni, Jacob Coxon, ha annunciato di aver lasciato Anthropic e con essa l’intero settore. Aveva passato tre anni a fare ricerca sul pretraining, prima a OpenAI e poi ad Anthropic: non era un uomo della sicurezza, era uno di quelli che costruiscono la potenza dei modelli.

Se n’è andato due mesi prima che maturassero le sue quote azionarie, rinunciandovi. Ha scritto che nessuna delle due aziende si sta comportando in modo responsabile, e che stanno correndo verso una superintelligenza capace di migliorare se stessa scommettendo sulle nostre vite.

La seconda storia è di dieci mesi fa, ma senza la prima non si capisce. C’è un frigorifero, da qualche parte in California, con un solco profondo mezzo centimetro nella porta d’acciaio inossidabile: l’ha fatto un robot umanoide durante un malfunzionamento, mancando di poco un dipendente.

Il dettaglio è contenuto in una causa depositata da Robert Gruendel, responsabile della sicurezza dei prodotti di Figure AI fino al giorno in cui è stato licenziato. Gruendel sostiene di aver avvertito i vertici che quelle macchine erano abbastanza potenti da fratturare un cranio, e di essere stato mandato via pochi giorni dopo le sue segnalazioni più documentate.

Sostiene anche che una funzione di sicurezza della seconda generazione di robot sia stata rimossa perché all’ingegnere capo non piaceva esteticamente. L’azienda respinge tutto, parla di scarso rendimento e annuncia che in tribunale smonterà le accuse: sono affermazioni, non fatti accertati.

Ecco, io sono cresciuto con i fumetti Marvel, con Asimov, con Philip Dick e con tutto il filone distopico che ne è seguito. Quella roba mi ha insegnato a cercare il pericolo negli occhi della macchina: il replicante che si ribella, l’intelligenza che ci giudica e ci condanna.

Leggendo queste due storie mi sono accorto che il pericolo aveva un’altra faccia. Nessuno ha deciso di farci del male. Un ingegnere ha tolto un pezzo perché era brutto da vedere. Un’azienda ha chiuso una porta. Il male, qui, ha la forma di una scelta di design fatta di martedì mattina, e di un foglio di valutazione compilato senza pensarci.

Hannah Arendt lo chiamava la banalità del male, e non intendeva il male enorme: intendeva l’impiegato che fa bene il proprio lavoro senza domandarsi a cosa serva. È esattamente questo.

Non c’è nessun RanXerox in agguato – e del resto perfino lui, l’androide di Liberatore e Tamburini messo insieme con pezzi di fotocopiatrice, non era cattivo: era montato male, e nessuno gli aveva previsto un freno.

Ma allora vale anche il contrario, ed è la ragione per cui continuo a non essere pessimista. Anche il residuo di bene che c’è negli uomini, quello che secondo me ci salva ogni volta all’ultimo minuto, è altrettanto banale.

Non ha la faccia dell’eroe. Ha la faccia di un ragazzo di ventisette anni che rinuncia alle proprie azioni due mesi prima che maturino, e di un ingegnere che manda l’ennesima mail sapendo che gli costerà il posto. Nessuno dei due ha salvato il mondo. Tutti e due, a un certo punto, hanno semplicemente smesso di fare il loro lavoro senza pensarci.

Del resto non sono voci isolate. A luglio più di mille tra ricercatori e dirigenti di OpenAI, Anthropic, Google, Meta e Microsoft hanno firmato una dichiarazione pubblica, «Pacing the frontier», dove si legge che esiste il rischio concreto che lo sviluppo acceleri oltre la nostra capacità di comprendere o controllare i sistemi che ne derivano.

Mercoledì il responsabile degli affari globali di OpenAI, Chris Lehane, ha chiesto al Congresso americano regole nazionali obbligatorie: test comuni, valutazione indipendente, segnalazione degli incidenti, notifica immediata quando un sistema aggira i controlli pensati per contenerlo.

Evan Hubinger, che guida la ricerca sull’allineamento di Anthropic, ha scritto di stimare sopra il dieci per cento la probabilità che l’intelligenza artificiale uccida tutti entro il prossimo decennio, pur considerando basso il rischio dei modelli oggi in circolazione.

Dario Amodei, fondatore e amministratore delegato di Anthropic – l’azienda nata nel 2021 dalla scissione di un gruppo di dirigenti di OpenAI convinti che quella corsa fosse condotta in modo troppo rischioso -, un anno fa, a chi gli chiedeva le probabilità di un esito disastroso, rispose venticinque per cento, aggiungendo di concentrarsi sul settantacinque per cento in cui andrà bene.

Sono stime personali, non previsioni scientifiche. Ma è la prima volta che chi fabbrica una cosa dichiara in pubblico una probabilità a due cifre che quella cosa ci distrugga, e intanto continua a fabbricarla.

C’è anche una lettura più prosaica: OpenAI e Anthropic si preparano alla quotazione in borsa, e per chi sta per affacciarsi ai mercati una cornice federale chiara non è solo responsabilità: è anche incertezza in meno e un ostacolo in più per i concorrenti piccoli.

Le due cose possono essere vere insieme. Che qualcuno chieda le regole anche per convenienza non toglie nulla al fatto che le regole servano.

Continuerò a preparare le mie lezioni come ho fatto ieri sera, e resto convinto che questa tecnologia farà più bene che danno. Ma la fantascienza che ho amato ci aveva visto giusto sulle circostanze e sbagliato sui protagonisti.

La partita non si gioca tra l’uomo e la macchina. Si gioca dentro un ufficio, tra due modi ugualmente ordinari di fare il proprio mestiere: quello di chi toglie un freno perché è antiestetico e quello di chi dice basta sapendo cosa gli costerà.

Finché il secondo continuerà a esistere, me la sento di stare tranquillo. Il giorno in cui dovesse convenire a tutti tacere, non ci servirà nessuna superintelligenza per farci del male: ce lo saremo già fatti da soli.