In questo articolo Indice dei contenuti 2 sezioni
Dieci ettari di piantine di sesamo bruciati in una notte sola, per colpa di un consiglio sbagliato dato da un chatbot: è quanto accaduto al signor Wu, agricoltore di 67 anni di Chuzhou, in Cina, che si era affidato all’intelligenza artificiale per gestire erbacce e parassiti nel suo campo. Il risultato è stato l’opposto di quello sperato, con perdite economiche stimate attorno ai 19.000 euro. Una storia che racconta bene quanto sia rischioso prendere per oro colato ogni risposta generata da una macchina.
La dinamica è semplice quasi al limite dell’assurdo. Wu aveva chiesto aiuto per eliminare le malerbe che stavano soffocando la coltivazione di sesamo. Il sistema gli ha suggerito una combinazione di pesticidi ed erbicidi, con l’obiettivo dichiarato di colpire solo le piante infestanti. L’agricoltore ha preparato la miscela, l’ha caricata sul suo drone e l’ha nebulizzata sull’intero appezzamento. Il giorno dopo era morto tutto. Le erbacce, certo, ma anche il sesamo. Anzi, come ha raccontato lui stesso, le piantine di sesamo se ne sono andate ancora più in fretta.
Chatbot AI: un erbicida pensato per la soia, non per il sesamo
Nella lista dei prodotti consigliati compariva il flufenacet, un erbicida impiegato per il controllo delle infestanti nei campi di soia. Non nel sesamo. Quando Wu è tornato dal chatbot chiedendo spiegazioni, la risposta è arrivata puntuale e in perfetto stile assistente virtuale: sì, quel prodotto era effettivamente il problema. Un riconoscimento tardivo dell’errore che non ha restituito nemmeno una piantina.
Il punto interessante di questa vicenda non è tanto l’allucinazione in sé, fenomeno ormai noto a chiunque abbia usato un assistente conversazionale per qualcosa di serio, quanto il percorso che ha portato un uomo esperto del proprio mestiere a fidarsi ciecamente. Wu aveva iniziato a usare l’intelligenza artificiale circa un anno prima. All’inizio era scettico, com’è naturale che sia. Poi le risposte si sono rivelate azzeccate, i consigli utili, i risultati buoni. E così, mese dopo mese, ha smesso di verificare. Ha cominciato ad accettare quello che leggeva senza discutere.
La sicurezza apparente che convince
È un meccanismo che diversi studi hanno già messo a fuoco. I sistemi di IA generativa rispondono con un tono sicuro, ordinato, privo di esitazioni. Quella sicurezza apparente viene letta dal cervello umano come competenza, e quindi come autorità. Nessun tentennamento, nessun “forse”, nessuna incertezza esplicita. Il testo scorre bene, sembra sensato, e questo basta a disattivare il filtro critico di chi legge.
Poi ci sono gli avvisi. Tutti i chatbot mostrano da qualche parte un messaggio che ricorda come il sistema possa commettere errori e come sia opportuno verificare le informazioni importanti. Il problema è che quelle righe sono diventate arredamento, esattamente come i banner sui cookie: ci sono, nessuno le legge. Wu ha ammesso candidamente di non averle mai notate.
L’azienda che fornisce il servizio utilizzato dall’agricoltore, la cui identità non è stata resa nota, ha spiegato che il sistema non possiede una base di conoscenza propria e che genera le risposte raccogliendo informazioni da altre fonti. Una precisazione tecnica che sposta la responsabilità sul funzionamento stesso della tecnologia. Nessuna forma di risarcimento è stata offerta a Wu.
Il caso si aggiunge alla lista crescente di episodi in cui la delega totale a un sistema automatico si è tradotta in danni concreti e misurabili. Dieci ettari di coltivazione di sesamo distrutti nel giro di ventiquattro ore, un raccolto intero cancellato da una miscela che non doveva finire su quelle piante, e un conto salato che nessuno rimborserà. La macchina, interrogata sull’accaduto, ha dato ragione all’agricoltore. Troppo tardi.
