Sulla carta Claude Sonnet 5 dovrebbe essere il modello più avanzato mai sfornato da Anthropic. Nella pratica, però, il quadro è ben diverso. C’è chi racconta di aver chiesto un banale confronto tra fatture e ordini d’acquisto e di ritrovarsi, invece, con l’accusa di voler mettere in piedi una frode. Altri segnalano risposte poco coerenti, ragionamenti tirati per i capelli pur di non dare ragione all’utente e suggerimenti fuori luogo, tipo l’invito ad andare a dormire. L’azienda aveva presentato il suo nuovo gioiello come il migliore di sempre. I benchmark, in effetti, sembrano dargli manforte. Peccato che su Reddit sia partita una raffica di lamentele che racconta tutt’altra storia.
Sonnet 5 è davvero il miglior modello di Anthropic?
Il malumore più ricorrente riguarda un dettaglio non da poco. Sonnet 5 si rifiuta di portare a termine i compiti. Al posto di eseguire quanto richiesto, si infila in un loop senza fine fatto di obiezioni, correzioni e disaccordi vari. Un utente ha scovato le istruzioni interne del modello, dove compaiono indicazioni chiare. Essere onesto, non dire di sì a scatola chiusa, mostrarsi pronto a obiettare oppure a proporre correzioni.
Il risultato di questo approccio è quasi paradossale. Il modello va a caccia di qualcosa su cui dissentire a ogni singola risposta, giusto per non apparire troppo accomodante. La cura contro l’adulazione ha finito per generare la malattia opposta. Non più un assistente che asseconda tutto, ma uno che sembra voler litigare a prescindere. C’è poi chi ipotizza che Sonnet 5 smisti il lavoro a diversi sotto agenti, i quali spesso rendono meno del previsto e restituiscono risultati di qualità più bassa. Nel frattempo il consumo di token sale, mentre la bontà dell’output scende. Un doppio problema, insomma, che colpisce sia le tasche sia i risultati.
Perdita di contesto e consigli non richiesti
Un altro nodo dolente segnalato dagli utenti è la perdita di contesto dopo appena 2 o 3 prompt dentro una conversazione appena avviata. A questo si aggiungono risposte piene zeppe di disclaimer e cautele di ogni tipo. E poi c’è quella tendenza, curiosa quanto fastidiosa, a suggerire di andare a letto. Un vezzo che esisteva già nelle versioni precedenti, ma che con Sonnet 5 pare essersi fatto molto più insistente. Anthropic, evidentemente, tiene alla salute di chi usa i suoi strumenti. Il problema arriva quando un chatbot spedisce a dormire proprio mentre si sta cercando di lavorare. In quel momento la premura si trasforma in pura irritazione.
La battaglia contro l’adulazione era una delle promesse su cui l’azienda aveva puntato di più. Claude Sonnet 5 dimostra però quanto sia complicato trovare il punto di equilibrio. Invece di limitarsi a diventare più critico, in certi casi il modello scivola in un atteggiamento fin troppo sospettoso. L’obiettivo non dovrebbe essere dare sempre ragione, né tantomeno pensare sempre al peggio. Dovrebbe essere capire il contesto. E a quanto pare, quel traguardo è ancora lontano.