Scegliere e valutare i vector store

L'ecosistema dei database vettoriali è cresciuto enormemente negli ultimi anni. Le opzioni spaziano da servizi cloud specifici come Pinecone a estensioni PostgreSQL come pgvector, server open source come Chroma, Qdrant e Weaviate, fino a librerie in memoria come FAISS. Scegliere lo strumento giusto è importante, perché cambiare in seguito è costoso una volta indicizzati i dati.

Quando confronta i vector store, valuti cinque dimensioni: latenza delle query alla scala prevista, throughput di indicizzazione per l'acquisizione in batch, funzionalità di filtraggio per il pre-filtraggio basato sui metadati, complessità operativa (gestito o self-hosted) e costo per milione di vettori memorizzati e sottoposti a query. Nessuno strumento eccelle in ogni dimensione.

Pinecone è un database vettoriale cloud completamente gestito che non richiede alcuna gestione dell'infrastruttura. Eccelle nei carichi di lavoro ad alta concorrenza, offre una ricerca ibrida sparse-dense nativa e garantisce query costanti nell'ordine di pochi millisecondi a qualsiasi scala. Il compromesso è il costo: è più costoso delle opzioni self-hosted e comporta il vincolo verso il fornitore, poiché tutti i dati risiedono nel cloud di Pinecone.

pgvector estende PostgreSQL con un tipo di dati vector e indici ANN (approximate nearest neighbor) basati sugli algoritmi HNSW o IVFFlat. È ideale se utilizza già PostgreSQL, perché gli embedding risiedono nello stesso database dei dati relazionali, consentendo potenti join SQL tra la ricerca vettoriale e i filtri strutturati senza infrastruttura aggiuntiva.

Chroma è un database di embedding open source progettato per la prototipazione rapida. Per lo sviluppo locale viene eseguito in-process (senza bisogno di un server) e supporta una modalità server persistente per la produzione. Chroma è popolare nei tutorial di LangChain grazie alla sua API estremamente semplice, ma presenta limitazioni su larga scala: non dispone di una modalità distribuita e offre filtri meno avanzati rispetto a Pinecone o Qdrant.

Qdrant è un database vettoriale open source scritto in Rust, particolarmente efficace nel filtraggio complesso dei metadati. A differenza dei database che applicano i filtri dopo la ricerca ANN, Qdrant esegue il pre-filtraggio dei vettori candidati in base ai campi del payload prima del calcolo dei punteggi, migliorando notevolmente la precisione quando i filtri sono selettivi. Supporta indici HNSW su disco, risultando adatto a dataset che non possono essere contenuti nella RAM.

Weaviate è un database vettoriale open source con un'esclusiva API GraphQL e supporto integrato per oggetti multimodali (testo, immagini, audio). Si integra direttamente con i provider di modelli di embedding tramite moduli, consentendo di acquisire testo grezzo e lasciare che Weaviate chiami automaticamente l'API di embedding. Questa comodità comporta una configurazione più complessa rispetto a Chroma o Qdrant.

FAISS (Facebook AI Similarity Search) è una libreria C++ con binding Python che offre una ricerca vettoriale in memoria estremamente veloce. Non è un database (non offre persistenza né un server), ma gestisce ricerche di similarità su scala di miliardi di elementi su una singola macchina con accelerazione GPU. FAISS è la scelta giusta per carichi di lavoro di ricerca batch offline, intensivi in lettura, in cui si controlla l'intero stack.

L'unico modo per scegliere con sicurezza è eseguire benchmark sui propri dati. Un buon benchmark misura: (1) il tempo di indicizzazione dell'intero dataset, (2) la latenza delle query ai percentili p50, p95 e p99 sotto carico concorrente, (3) il recall@K, confrontando i risultati ANN con risultati esatti ottenuti tramite ricerca esaustiva, e (4) memoria e costi alla scala prevista. Esegua le stesse query su ogni vector store candidato.

Gli indici ANN scambiano recall con velocità. Un parametro HNSW ef_search più alto individua vicini più accurati, ma richiede più tempo. Misuri il recall@10 (la frazione dei 10 vicini reali restituiti) con diverse configurazioni dei parametri e rappresenti graficamente recall e latenza. La maggior parte dei sistemi di produzione punta a un recall del 95-99%. Scendere sotto il 90% significa che gli utenti ricevono chunk non pertinenti anche se le query sono veloci.

Utilizzi questo albero decisionale: se ha bisogno di zero gestione dell'infrastruttura e il budget non è un vincolo, scelga Pinecone. Se utilizza già PostgreSQL e il dataset contiene meno di 10 milioni di vettori, aggiunga pgvector. Per una soluzione open source self-hosted con filtraggio complesso dei payload, scelga Qdrant. Per la prototipazione rapida e lo sviluppo locale, inizi con Chroma e proceda alla migrazione in seguito. Per i job batch offline su scala di miliardi di elementi, utilizzi FAISS.

Verifichi la propria comprensione dei concetti di AI Engineering trattati in questa lezione.

In questa lezione ha imparato a conoscere: il panorama dei vector store, tra cui Pinecone, pgvector, Chroma, Qdrant, Weaviate e FAISS; le cinque dimensioni di valutazione, ovvero latenza, throughput, filtraggio, complessità e costo; e un metodo decisionale pratico per scegliere il vector store più adatto in base ai requisiti di infrastruttura e scala. Nella prossima lezione analizzeremo il problema che ha portato all'invenzione di RAG.