In questo articolo Indice dei contenuti 3 sezioni
Una vecchia Toyota Yaris rivestita con un disegno geometrico ad alto contrasto è passata davanti a una telecamera di sorveglianza Flock e le telecamere intelligenti non l’hanno vista, o meglio, non hanno generato nessun avviso. La prova si è svolta venerdì 7 agosto a Las Vegas, durante la trentaquattresima edizione di Def Con, la conferenza dedicata alla sicurezza informatica. Dietro l’esperimento c’è Bill Swearingen, professionista della cybersecurity e cofondatore del meetup SecKC di Kansas City, che ha chiamato il proprio progetto noRecognition.
Come una telecamera decide cosa vedere
Il punto di partenza è semplice, anche se sembra tecnico. Una telecamera di questo tipo non guarda, calcola. Ogni fotogramma passa attraverso una rete neurale che assegna un punteggio di confidenza a ciò che crede di aver individuato, per esempio 0,89 su una porzione di immagine che ritiene contenga una persona. Superata una soglia prestabilita, il software disegna un rettangolo attorno al soggetto e manda la notifica all’operatore. Sotto quella soglia, invece, non accade nulla: il video viene comunque registrato e archiviato, ma nessuno sa che in quel fotogramma c’era qualcuno.
Un pattern avversariale, cioè una fantasia grafica costruita per ingannare il sistema, lavora esattamente su quel numero. La rete non riconosce una persona perché ne capisce la forma, ma perché ritrova una combinazione statistica di contrasti, bordi e trame appresa durante l’addestramento. Il disegno giusto inserisce i dettagli che mandano fuori strada il calcolo, la confidenza crolla e il rettangolo non compare mai. Sul sito del progetto ci sono due scatti affiancati: la stessa persona davanti alla stessa telecamera, rilevata con confidenza 0,89 con una maglietta comune e ignorata con quella stampata, esteticamente piuttosto brutale. Nei test la soglia di rilevamento è fissata a 0,25. Lo stesso meccanismo vale per targhe e volti, perché la catena è identica: un modello propone, una soglia decide, un avviso parte.
Trentuno milioni di test, letti con prudenza
Il lavoro è durato un anno. Swearingen è partito da un laboratorio che sfidava un algoritmo open source alla volta, poi ha costruito un sistema di reinforcement learning che, come dice lui, ha imparato “a dipingere”: ogni volta che un disegno veniva riconosciuto, la macchina lo modificava e riprovava. Il sito dichiara 31,7 milioni di test e undici bersagli, tra cui il software dei lettori di targa Flock, le bodycam Axon e telecamere che usano Clearview AI. L’undicesimo è un rilevatore di persone i cui pesi sono stati estratti dal software di bordo di una telecamera realmente installata.
I numeri, però, vanno maneggiati con attenzione, e il progetto stesso lo scrive nero su bianco. La dashboard qualifica tutti i punteggi come digitali, con stampa e ripresa simulate e pieno accesso ai pesi dei modelli. Il risultato migliore è il 61,7% di non rilevamento sul detector estratto dalla telecamera reale, 148 casi su 240, con il 90% su YOLOv5, diffuso modello open source per il riconoscimento di oggetti, e il 62,5% su un altro modello, quest’ultimo soltanto quando il disegno occupa una porzione ampia dell’inquadratura. Un singolo motivo capace di battere tutti gli undici modelli insieme non è stato dimostrato. Il video della prova di Las Vegas, girato con Donut Media, uscirà nelle prossime settimane, mentre i log degli avvisi della telecamera Flock durante il test non sono stati pubblicati.
Arte, ricerca e regole
Il camuffamento antialgoritmico ha una storia lunga. Adam Harvey ha creato CV Dazzle nel 2010 come tesi di master alla New York University, con trucco asimmetrico e volumi dei capelli, e oggi è lui stesso ad avvertire che quei look non funzionano più. Nel 2017 è arrivato HyperFace, tessuto che offriva al software una collezione di volti falsi. Nell’agosto 2019 quattro artiste londinesi hanno fondato il Dazzle Club dopo la sperimentazione del riconoscimento facciale a King’s Cross, senza mai poter misurare l’efficacia del trucco.
Sul fronte accademico, la KU Leuven ha mostrato nel 2019 che un semplice cartoncino stampato abbassava l’accuratezza di un rilevatore, mentre la maglietta avversariale presentata l’anno successivo da Northeastern University e MIT ha raggiunto il 74% di successo in digitale e il 57% nel mondo fisico contro YOLOv2, contro il 18% del metodo precedente. Un gruppo della Tsinghua University ha esteso nel 2022 le texture a interi capi. In Italia Rachele Didero ha brevettato con il Politecnico di Milano, nel febbraio 2021, un metodo per intrecciare l’immagine nella maglia invece di stamparla, fondando poi Capable con Federica Busani: chi indossa la Manifesto Collection viene classificato come cane, zebra o giraffa. In Europa l’articolo 5 del regolamento UE 2024/1689 vieta come principio generale l’identificazione biometrica remota in tempo reale negli spazi pubblici per finalità di contrasto, con eccezioni tassative, e si applica dal 2 febbraio 2025. Negli Stati Uniti un argine simile non esiste. Swearingen tiene i disegni migliori fuori dalla rete, per non regalare materiale di addestramento ai produttori, e ha lanciato una campagna Kickstarter per una serie limitata di magliette e felpe.
