Gérer les absences de réponse et les longs documents
Découpage en segments et vérification de la confiance
Gérer les absences de réponse et les longs documents est une leçon NLP Academy gratuite sur CoddyKit. Ceci est la leçon 4 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage NLP Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours NLP Academy comprend 4 leçons au total.
Il n'y a parfois aucune réponse
Les questions réelles n'ont souvent aucune réponse dans le passage. Un système de QA robuste doit le reconnaître plutôt que de forcer une mauvaise réponse. 🤔
L'idée de la réponse nulle
Les modèles entraînés pour cela apprennent une option de réponse nulle. Lorsqu'aucun segment ne convient, ils indiquent une réponse vide au lieu d'en inventer une.
Autoriser les réponses vides
Dans la chaîne de traitement, définissez handle_impossible_answer sur true afin qu'elle puisse renvoyer une chaîne vide lorsqu'aucun élément du contexte ne correspond.
qa(question=q, context=c,
handle_impossible_answer=True)Utiliser le score comme seuil
Le score de confiance est votre seuil de sécurité. S'il descend sous un seuil que vous jugez fiable, considérez la réponse comme inexistante.
if result["score"] < 0.2:
answer = "I do not know."Les longs documents dépassent la limite
Les transformeurs ont une longueur maximale fixe, souvent de 512 tokens. Un document long ne tient tout simplement pas en un seul passage.
Découper le contexte
La solution consiste à effectuer un découpage : divisez un long document en fenêtres qui se chevauchent, puis exécutez la QA séparément sur chaque fenêtre.
Pourquoi les fenêtres se chevauchent
Les segments doivent légèrement se chevaucher. Sinon, une réponse située à la frontière d'un segment pourrait être coupée et perdue entre deux fenêtres.
Fenêtre glissante intégrée
La chaîne de traitement de QA peut s'en charger pour vous. Définissez doc_stride pour contrôler le chevauchement de chaque fenêtre avec la précédente.
qa(question=q, context=long_text,
max_seq_len=384, doc_stride=128)Combiner les réponses des segments
Chaque segment produit sa propre réponse et son propre score. Conservez comme réponse finale le candidat ayant le score le plus élevé parmi tous les segments.
Récupérer avant de lire
Pour les très grandes collections, commencez par récupérer les quelques passages les plus pertinents, puis exécutez la QA uniquement sur ceux-ci. C'est le cœur des systèmes de QA de grande taille.
L'honnêteté inspire confiance
Ne renvoyer aucune réponse en cas de doute est une fonctionnalité, pas un défaut. Une QA honnête inspire bien davantage confiance aux utilisateurs qu'une réponse erronée donnée avec assurance. 🛡️
Vérification rapide
Comment fournir un très long document à un modèle de QA ?
Récapitulatif
Autorisez les réponses nulles et utilisez le score comme seuil pour garantir l'honnêteté ; découpez les longs documents avec chevauchement, puis conservez le segment ayant le meilleur score. Vous pouvez désormais déployer une QA robuste. 🎉
Apprends Python avec un tuteur IA — gratuit
Écris et exécute du vrai code dans ton navigateur, obtiens de l'aide instantanée d'un tuteur IA disponible 24h/24, et reprends là où tu t'es arrêté sur le web ou dans l'app.
- Cours
- 30
- Leçons
- 120
Questions Fréquemment Posées
La leçon « Gérer les absences de réponse et les longs documents » est-elle gratuite ?
Oui — le texte complet de « Gérer les absences de réponse et les longs documents » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours NLP Academy, passe à CoddyKit PRO. Le cours NLP Academy comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Gérer les absences de réponse et les longs documents » ?
Découpage en segments et vérification de la confiance Tu pratiques NLP Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer NLP Academy ?
Aucune expérience préalable n'est requise. NLP Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 4 sur 4.
Combien de temps prend la leçon « Gérer les absences de réponse et les longs documents » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon NLP Academy ?
Oui. Chaque leçon NLP Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- QA extractive ou générative
- Exécuter un pipeline de QA
- Trouver les segments de réponse dans le contexte
- Gérer les absences de réponse et les longs documents