La guida autonoma Tesla è al centro di un dibattito che va ben oltre la tecnologia. Raffi Krikorian, ex responsabile della divisione self-driving di Uber, ha raccontato in un saggio pubblicato su The Atlantic di essersi schiantato con la sua Tesla Model X mentre utilizzava il Full Self-Driving (Supervised). E la cosa più interessante non è l’incidente in sé, ma quello che rivela sulla fase in cui ci troviamo con l’automazione moderna. Una fase scomoda, in cui la tecnologia sa fare quasi tutto, ma pretende ancora che il conducente sia pronto a intervenire in una frazione di secondo quando qualcosa va storto.
Krikorian stava guidando con i figli a bordo, su strade residenziali, con il sistema FSD attivo. Dopo mesi di utilizzo senza problemi, si era abituato a fidarsi. Poi l’auto ha fatto una svolta, il volante ha avuto uno scatto improvviso e nel giro di pochi secondi Model X è finita contro un muro di cemento. Per fortuna nessuno si è fatto male, ma l’esperienza lo ha scosso profondamente. Non tanto per la dinamica dell’incidente, quanto perché quel meccanismo gli era fin troppo familiare. Nel saggio cita il concetto di “moral crumple zone” della ricercatrice Madeleine Clare Elish: quando un sistema automatizzato complesso fallisce, è l’operatore umano ad assorbire la colpa, esattamente come una zona di deformazione assorbe l’energia di un impatto.
Il problema psicologico e fisiologico dietro la guida autonoma Tesla
Tesla ha vinto numerose cause legali proprio su questo principio. L’azienda, come altri costruttori, avvisa ripetutamente che le funzioni autonome non sono perfette e che chi guida deve essere sempre pronto a riprendere il controllo. Sul piano legale, la questione è abbastanza chiara. Ma il punto più interessante sollevato da Krikorian è un altro, e riguarda la psicologia e la fisiologia umana.
I sistemi semi-autonomi creano una zona grigia pericolosissima. Funzionano talmente bene che il conducente smette di guidare attivamente, ma non funzionano così bene da eliminare del tutto la necessità di intervento umano. I ricercatori lo chiamano vigilance decrement: quando una persona monitora un sistema che quasi mai sbaglia, l’attenzione cala inevitabilmente. È un fenomeno documentato, ma che finisce regolarmente in secondo piano ogni volta che un titolo sensazionalistico parla di incidenti legati alla guida autonoma.
E quando l’attenzione cala, entra in gioco la fisiologia. Anche gli esseri umani più reattivi hanno bisogno di diversi secondi per riprendere la concentrazione, decidere cosa fare e poi agire fisicamente. Lo stesso schema si ripete ovunque le persone supervisionino sistemi automatizzati: dalle cabine di pilotaggio degli aerei fino ai chatbot basati su intelligenza artificiale. La tecnologia costruisce fiducia funzionando nella stragrande maggioranza dei casi, poi si affida all’umano per salvare la situazione quando succede qualcosa di imprevisto. E quando quel salvataggio non riesce, la responsabilità ricade quasi sempre sulla persona.
Una fase inevitabile ma rischiosa
L’aspetto più scomodo di tutta la questione è che questa fase intermedia della guida autonoma Tesla potrebbe essere semplicemente inevitabile. La tecnologia ha bisogno di essere utilizzata nel mondo reale per migliorare, e questo significa convivere con sistemi capaci di gestire la maggior parte delle situazioni ma che necessitano ancora di un umano pronto a intervenire all’istante. Il problema è che più questi sistemi diventano bravi, più è facile dimenticare di essere ancora la persona responsabile. Almeno fino al momento in cui il rapporto dell’incidente lo ricorda.
