Nel panorama in rapido mutamento del web, un cambio di rotta sembra prendere forma. Dopo anni di dominio incontrastato, Google non è più l’unico punto di riferimento per l’indicizzazione dei contenuti online. Un’analisi di Hostinger rivela che il GPT bot di OpenAI ha superato per diffusione il crawler della società di Mountain View. Ciò raggiungendo 4,4 milioni di domini, pari all’88% del campione analizzato. Contro i 3,9 milioni e il 78% registrati da Google. Il dato emerge dall’esame dei log di accesso di oltre cinque milioni di siti e indica un riequilibrio nella mappa dell’esplorazione digitale. L’avanzata del GPT bot si inserisce in un contesto più ampio, dove la crescita dei crawler legati all’intelligenza artificiale sta ridisegnando le dinamiche di raccolta e utilizzo dei dati. Insieme a quello di OpenAI, anche il ClaudeBot di Anthropic, i bot di Meta e gli scraper di TikTok contribuiscono a un traffico globale stimato in 1,4 miliardi di richieste giornaliere.
GPT bot di OpenAI conquista sempre più spazio nel web
L’analisi geografica suggerisce un altro tipo di concentrazione. Circa l’80% del traffico globale dei crawler proviene da aziende statunitensi. Mentre la Cina rappresenta appena il 10%, e il resto del mondo si divide percentuali residue. Tale squilibrio mette in luce un controllo sempre più centralizzato dell’informazione online in mano a pochi soggetti.
La portata del fenomeno non riguarda solo la quantità dei dati raccolti, ma anche la loro funzione. I modelli di intelligenza artificiale, come quelli di OpenAI e Anthropic, si alimentano dei contenuti pubblici. Ciò per apprendere e generare testi, immagini o risposte in linguaggio naturale. Ciò significa che chi gestisce i crawler non solo organizza i contenuti del web, ma contribuisce anche a definire ciò che gli utenti vedono. Per affrontare tale scenario, Hostinger ha introdotto un audit AI tool, che permette ai gestori dei siti di controllare l’accesso dei diversi bot. Una misura che mira a bilanciare trasparenza, tutela dei creatori e sostenibilità del traffico digitale. In tale nuova fase, la sfida sarà capire come preservare un web realmente aperto, dove la conoscenza resti accessibile e condivisa, al di là del filtro degli algoritmi.
