Filtraggio dei metadati per la ricerca ibrida
Combini la similarità vettoriale con filtri strutturati, come data, autore e tag, per ottenere un retrieval preciso e contestualizzato.
Filtraggio dei metadati per la ricerca ibrida è una lezione AI Agents gratuita su CoddyKit. Questa è la lezione 2 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento AI Agents, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso AI Agents include 4 lezioni in totale.
Parti di questa lezione non sono ancora state tradotte e vengono mostrate in inglese.
Perché usare i filtri?
La ricerca esclusivamente vettoriale restituisce i K chunk più simili, anche se appartengono al tenant, alla lingua o al documento sbagliato.
I filtri sui metadati limitano la ricerca ai sottoinsiemi pertinenti, garantendo sia precisione sia recall.
Archiviazione dei metadati
Associ un dizionario di metadati a ogni chunk durante l'ingestion:
metadata = {
'tenant_id': 'acme',
'language': 'en',
'source': 'help-docs',
'updated_at': '2024-08-12',
'tags': ['shipping', 'returns']
}
for k, v in metadata.items():
print(f"{k}: {v}")
Filtering in Pinecone
results = index.query(
vector=query_vec,
top_k=5,
filter={
'tenant_id': 'acme',
'language': 'en'
}
)Filtri per intervallo
La maggior parte dei DB vettoriali supporta anche i filtri per intervallo:
filter = {
'updated_at': {'$gte': '2024-01-01'},
'score': {'$gt': 0.5}
}
print(filter)
In and Not-In
filter = {
'tags': {'$in': ['shipping', 'returns']},
'archived': {'$ne': True}
}
print(filter)
Filtri in Qdrant
Qdrant dispone di un linguaggio ricco per i filtri:
from qdrant_client.models import Filter, FieldCondition, MatchValue
filter = Filter(must=[
FieldCondition(key='tenant_id', match=MatchValue(value='acme')),
FieldCondition(key='language', match=MatchValue(value='en'))
])
results = client.search(
collection_name='docs',
query_vector=query_vec,
query_filter=filter,
limit=5
)Pre-filtro e post-filtro
Due strategie:
- Pre-filtro — applicare il filtro e POI eseguire la ricerca (corretto, ma può essere lento senza metadati indicizzati)
- Post-filtro — eseguire la ricerca e poi eliminare gli elementi non corrispondenti (veloce, ma potrebbe non restituire alcun risultato)
I sistemi di produzione applicano il pre-filtro con appositi indici sui metadati.
Vettoriale + parole chiave in modalità ibrida
Combini la ricerca semantica con la ricerca classica per parole chiave BM25. Esegua entrambe e combini i punteggi (la reciprocal rank fusion è lo standard):
def rrf(vec_results, bm25_results, k=60):
scores = defaultdict(float)
for rank, doc in enumerate(vec_results):
scores[doc.id] += 1 / (k + rank)
for rank, doc in enumerate(bm25_results):
scores[doc.id] += 1 / (k + rank)
return sorted(scores.items(), key=lambda x: -x[1])Multi-tenancy
In un SaaS, OGNI query deve applicare un filtro su tenant_id. Lo codifichi direttamente nel wrapper di retrieval, così non potrà essere dimenticato:
def search(query, tenant_id, top_k=5):
return index.query(
vector=embed(query),
top_k=top_k,
filter={'tenant_id': tenant_id}
)Controllo degli accessi tramite metadati
Archivi nei metadati le autorizzazioni di utenti e ruoli:
metadata = {
'visibility': 'public', # or 'internal', 'restricted'
'department': 'engineering',
'allowed_roles': ['engineer', 'manager']
}
# At query time:
filter = {'allowed_roles': {'$contains': current_user_role}}Boost della recency
Per dare la preferenza ai documenti più recenti, recuperi più candidati e poi ricalcoli il punteggio in base alla recency:
candidates = index.query(vector=query_vec, top_k=50)
scored = [
(c.score * recency_factor(c.metadata['updated_at']), c)
for c in candidates
]
scored.sort(reverse=True)
final = scored[:5]Attenzione alla cardinalità dei metadati
I metadati ad alta cardinalità (milioni di valori univoci) producono indici enormi. Quando possibile, esegua un'aggregazione preliminare: ad esempio, memorizzi anno-mese invece del timestamp completo per i filtri temporali.
Filtro sempre attivo
Quale filtro deve includere SEMPRE ogni agente multi-tenant?
Riepilogo
I filtri sui metadati limitano l'ambito della ricerca. Li combini con la ricerca ibrida (vettoriale + BM25) per ottenere i risultati migliori. La multi-tenancy e il controllo degli accessi dipendono da questo.
Impara AI Agents con un tutor IA — gratis
Scrivi ed esegui vero codice nel tuo browser, ricevi aiuto istantaneo da un tutor IA disponibile 24/7, e riprendi da dove hai lasciato sul web o nell'app.
- Corsi
- 60
- Lezioni
- 239
Domande Frequenti
La lezione «Filtraggio dei metadati per la ricerca ibrida» è gratuita?
Sì — il testo completo di «Filtraggio dei metadati per la ricerca ibrida» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso AI Agents, passa a CoddyKit PRO. Il corso AI Agents include 4 lezioni in totale.
Cosa imparerò in «Filtraggio dei metadati per la ricerca ibrida»?
Combini la similarità vettoriale con filtri strutturati, come data, autore e tag, per ottenere un retrieval preciso e contestualizzato. Eserciti AI Agents con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare AI Agents?
Non è richiesta alcuna esperienza precedente. AI Agents su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 2 di 4.
Quanto tempo richiede la lezione «Filtraggio dei metadati per la ricerca ibrida»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione AI Agents?
Sì. Ogni lezione AI Agents include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Pinecone, Weaviate e Qdrant: confronto
- Filtraggio dei metadati per la ricerca ibrida
- Aggiornare ed eliminare i vettori
- Scegliere le metriche di distanza (coseno, L2, prodotto scalare)