In questo articolo Indice dei contenuti 2 sezioni
Chi legge davvero le conversazioni con ChatGPT? La domanda sembra banale, ma ha smesso di esserlo nel momento in cui un’inchiesta ha puntato i riflettori su un programma interno chiamato Project Lily, nel quale revisori in carne e ossa valuterebbero scambi reali avvenuti tra utenti e chatbot. Non simulazioni, non test costruiti a tavolino. Conversazioni vere, con dentro tutto quello che le persone ci scrivono ogni giorno.
E dentro ci finisce di tutto, va detto. Problemi di lavoro, questioni familiari, dubbi di salute, informazioni personali che spesso scivolano verso dettagli molto intimi. Si digita in una chat con la stessa leggerezza con cui si scriverebbe un appunto sul telefono, dimenticando che quel testo non resta necessariamente confinato tra chi scrive e la macchina. Capire come vengono affinati sistemi di questo tipo non è quindi una curiosità da smanettoni, è piuttosto un modo per calibrare meglio cosa vale la pena condividere.
Cosa fanno esattamente i prompt reviewer
Secondo quanto emerso, OpenAI avrebbe impiegato centinaia di collaboratori per questa attività. Vengono chiamati prompt reviewer e il loro compito è meno intuitivo di quanto si potrebbe pensare. Non stanno lì a verificare se ogni singola risposta sia corretta o veritiera, quello è un altro tipo di lavoro. Il loro mestiere è giudicare il modo in cui il modello risponde.
Un elenco di cose che contano, per capirsi meglio. Se il sistema ha effettivamente afferrato la domanda o se ha risposto di traverso. Se quello che dice è utile oppure riempie lo spazio con parole. Se usa formule troppo artificiali, quel tono da manuale che si riconosce a distanza. Se assume atteggiamenti paternalistici, spiegando ovvietà a chi non ne ha bisogno. E soprattutto se tende ad assecondare l’utente più del dovuto, dando ragione per inerzia invece di dire come stanno le cose. Quest’ultimo punto è uno dei difetti più discussi dei modelli conversazionali, quella specie di cortesia eccessiva che finisce per essere inutile.
Perché questo aspetto tocca la privacy
Il nodo, evidentemente, è che per valutare la qualità di una risposta bisogna prima leggere la domanda. E la domanda l’ha scritta una persona reale, magari in un momento di difficoltà, magari senza pensare che qualcuno oltre all’algoritmo avrebbe potuto trovarsela davanti. La revisione umana è un pezzo fondamentale del miglioramento di questi strumenti, su questo non ci sono molti dubbi, ma resta un passaggio che cambia la percezione dello strumento stesso.
Un chatbot dà l’impressione di essere uno spazio chiuso, quasi privato. Somiglia a una conversazione a due. La realtà del funzionamento è più articolata, perché dietro c’è una filiera fatta anche di lavoro manuale, di valutazioni, di persone pagate per assegnare un voto a uno scambio. Sapere che esiste un programma come Project Lily non significa che ogni singola chat venga esaminata, ma rende concreta una possibilità che molti non avevano messo in conto.
Da qui la cautela suggerita, che poi è la cosa più semplice e meno tecnologica di tutte. Trattare una conversazione con ChatGPT come qualcosa che potrebbe non restare soltanto tra chi scrive e lo schermo, ed evitare quindi di infilarci dati sensibili, credenziali, dettagli su terze persone o informazioni che nessuno vorrebbe vedere passare sotto gli occhi di uno sconosciuto assunto per valutarne il tono.
