In questo articolo Indice dei contenuti 2 sezioni
Con un accordo definitivo appena firmato, AWS si porta in casa DuckLabs, la società di Amsterdam che sviluppa DuckDB, ma il database analitico open source resta dove è sempre stato, cioè sotto il controllo di una fondazione olandese senza scopo di lucro. La distinzione è tutt’altro che formale e spiega perché l’operazione, invece di scatenare il consueto allarme sulla fine di un progetto libero, ha avuto una accoglienza piuttosto tranquilla nella comunità degli sviluppatori. Amazon compra l’azienda e le persone che ci lavorano, non il codice.
DuckDB è un database OLAP embedded, il che significa che non deve per forza girare come server separato: può stare dentro una applicazione, uno script Python, un notebook o un semplice processo locale. Il motore è colonnare e vettorizzato, pensato per query analitiche pesanti, e sa interrogare direttamente file Parquet, CSV e JSON senza doverli prima importare da qualche parte. Il paragone che circola più spesso è con SQLite, che ha reso banale incorporare un database transazionale dentro un programma. Qui l’idea è la stessa, ma applicata ad aggregazioni, scansioni e analisi su dataset grandi.
Chi possiede davvero il progetto
Il progetto nasce nel 2018 al CWI, il Centrum Wiskunde & Informatica di Amsterdam, dal lavoro di Hannes Mühleisen e Mark Raasveldt. La versione 1.0 è arrivata nel giugno 2024 e da lì l’adozione è esplosa, fino a superare il milione di download al giorno stando ai numeri citati da DuckLabs. Mühleisen e Raasveldt continueranno a guidare il gruppo di Amsterdam e la direzione tecnica del software, mentre DuckLabs diventerà una controllata di AWS.
L’amministrazione dei progetti resta invece alla DuckDB Foundation, che dichiara di detenere la proprietà intellettuale principale e i marchi legati a DuckDB, DuckLake e Quack. Gli statuti servono proprio a garantire che il software continui a essere distribuito con licenza MIT. Tradotto: Amazon può finanziare gli sviluppatori chiave e integrare la tecnologia nei propri servizi, ma non ottiene per effetto dell’acquisizione la facoltà di trasformare unilateralmente il database in un prodotto proprietario.
La struttura risale al 2021, quando DuckLabs nacque come costola del CWI. All’epoca poteva sembrare un dettaglio burocratico, con un progetto ancora piccolo e una fondazione che sulla carta faceva da custode. Cinque anni dopo quella scelta ha permesso di trasferire l’azienda ad Amazon senza vendere automaticamente anche il database. Peter Boncz, ricercatore del CWI e membro del consiglio della Foundation, ha ribadito dopo l’annuncio che la fondazione detiene la proprietà intellettuale della parte open source e continuerà a detenerla.
Il legame con S3 e i dubbi che restano
L’interesse di Amazon si capisce guardando dove vivono i dati. Moltissimi dataset analitici stanno oggi su Amazon S3 o su servizi compatibili con la sua API, e l’estensione httpfs di DuckDB permette di leggere, scrivere e individuare file direttamente su quegli object storage. Una query può lavorare su un oggetto remoto con una sintassi del tipo SELECT * FROM ‘s3://bucket/file.parquet’. Con Parquet il motore sfrutta metadata, column pruning e predicate pushdown per evitare di leggere colonne e blocchi inutili.
Il timore che S3 diventi una corsia preferenziale c’è, ma l’architettura attuale racconta altro: httpfs implementa il protocollo S3 e il progetto dichiara il supporto di MinIO, Google Cloud e lakeFS, mentre altri servizi compatibili con la stessa API, tra cui Cloudflare R2, possono funzionare allo stesso modo. Esiste poi una estensione aws separata, basata sull’SDK di Amazon, dedicata soprattutto alla gestione delle credenziali.
Il punto meno misurabile riguarda le priorità di sviluppo, perché chi paga gli stipendi tende a orientare il lavoro. Ottimizzazioni per S3, integrazioni con i servizi Amazon e funzionalità pensate per i grandi clienti cloud potrebbero ricevere più attenzione di altro. La verifica vera sarà capire se storage alternativi, piattaforme concorrenti e scenari completamente locali continueranno a essere trattati allo stesso livello. AWS, del resto, ha un incentivo concreto a non stringere troppo la presa: buona parte del valore di DuckDB nasce dal fatto che gira ovunque, su laptop, server, browser tramite WebAssembly, applicazioni Python e infrastrutture cloud diverse.
