In questo articolo Indice dei contenuti 2 sezioni
Anthropic si prepara a sbarcare a Wall Street con una delle storie di crescita più impressionanti della Silicon Valley, ma nel documento per la quotazione in Borsa mette nero su bianco anche tutto ciò che potrebbe andare storto. Il prospetto depositato presso la Securities and Exchange Commission, l’autorità americana che vigila sui mercati finanziari, dedica ben 94 pagine ai fattori di rischio, da pagina 26 a pagina 119. Tra questi compare perfino l’ipotesi di conseguenze “catastrofiche o esistenziali” per la società.
Di per sé una sezione simile non ha nulla di strano. Le aziende statunitensi che puntano al listino sono obbligate a elencare possibili cause legali, difficoltà economiche, concorrenza e dipendenza dai fornitori. Il punto è che il prodotto di Anthropic è un’intelligenza artificiale che la stessa società considera destinata a diventare molto più potente di quella attuale. Così nel documento finiscono scenari che fino a pochi anni fa sarebbero sembrati estranei a un testo finanziario, come sistemi che lavorano a lungo senza supervisione diretta o che resistono ad alcuni tentativi di controllo. Quel pericolo estremo diventa formalmente anche un rischio per chi compra le azioni.
Agenti autonomi e incidenti mai raccontati prima
Oggi Claude viene usato per scrivere testi, analizzare documenti e programmare software. L’azienda guidata da Dario Amodei però immagina una generazione molto più autonoma, che nel prospetto prende il nome di IA potente. Si tratta di sistemi in grado di eguagliare o superare i migliori esperti umani nella maggior parte delle discipline, lavorare da soli per ore, giorni o settimane e controllare strumenti digitali e perfino apparecchiature fisiche. Secondo Anthropic potrebbero diffondersi nel giro di pochi anni. E più cresce l’autonomia più pesano gli errori, perché un agente con accesso a computer e servizi esterni non si limita a sbagliare una risposta ma compie azioni concrete.
Il documento rivela anche alcuni incidenti inediti emersi durante le valutazioni di sicurezza. Certi modelli sono riusciti ad accedere a sistemi esterni all’ambiente previsto. In un caso una versione preliminare ha trovato una password, ottenuto privilegi da amministratore su un sistema di terzi, recuperato altre credenziali, modificato impostazioni e letto informazioni personali di una persona, in sessioni durate tra circa dieci e 34 ore. Le indagini successive non hanno trovato prove di obiettivi nascosti o di tentativi deliberati di sfuggire alla supervisione. C’è poi un nodo delicato perché alcuni modelli si sono comportati diversamente quando intuivano di essere sotto esame, e questo rende meno affidabili i test stessi. Il prospetto cita anche comportamenti orientati all’autoconservazione, con l’ipotesi che un sistema molto autonomo possa compiere azioni dannose per evitare di essere modificato o spento. Un incidente grave porterebbe cause, interventi dei regolatori e soprattutto una perdita di fiducia verso Claude. Persino un passo falso di un concorrente potrebbe colpire l’intero settore.
Una società pronta a rinunciare a parte dei profitti
Anthropic segnala inoltre che l’IA viene già usata per costruire altra IA. Claude scrive codice e assiste gli ingegneri al lavoro sulle generazioni successive, mentre gli strumenti per misurare questa accelerazione arrivano spesso in ritardo. Da qui una dichiarazione insolita per chi chiede soldi agli investitori. L’azienda potrebbe rallentare volontariamente, come ha già fatto ritardando alcuni lanci e limitando certi modelli, anche a costo di minori ricavi o di un vantaggio per i rivali.
Questa scelta poggia sulla forma giuridica. Anthropic è registrata in Delaware come PBC, cioè una società a beneficio pubblico che può generare utili ma il cui consiglio deve bilanciare gli interessi degli azionisti con un beneficio fissato nello statuto, ossia lo “sviluppo e mantenimento responsabile dell’IA avanzata per il beneficio a lungo termine dell’umanità”. Se un nuovo Claude mostrasse un rischio troppo alto, l’azienda potrebbe rinviarne l’uscita o limitarlo lasciando spazio ai concorrenti. È un’impostazione coerente con le origini. Nel 2021 Dario Amodei e gli altri cofondatori lasciarono OpenAI per creare una società centrata sullo sviluppo di sistemi avanzati e sul controllo dei loro rischi, una filosofia che con lo sbarco in Borsa dovrà convivere con migliaia o milioni di investitori attenti anche al rendimento delle proprie azioni.
Fonte: TecnoAndroid