回答なしと長い文書に対応する
チャンク分割と信頼度の確認
「回答なしと長い文書に対応する」はCoddyKit上の無料NLP Academyレッスンです。 これはレッスン4/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはNLP Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 NLP Academyコースには全4レッスンが含まれています。
回答がない場合もある
実際の質問では、文章内に回答がないことがよくあります。堅牢なQAシステムは、無理に誤った推測をするのではなく、その事実を認めるべきです。🤔
null回答という考え方
この目的で学習したモデルは、null回答という選択肢を学習します。適合するスパンがない場合は、回答を作り出すのではなく、空の回答を指します。
空の回答を許可する
パイプラインでhandle_impossible_answerをtrueに設定すると、コンテキストに一致するものがない場合に空文字列を返せます。
qa(question=q, context=c,
handle_impossible_answer=True)スコアを判定基準にする
信頼度スコアを安全性の判定基準にします。信頼できるしきい値を下回った場合は、その回答を「回答なし」として扱います。
if result["score"] < 0.2:
answer = "I do not know."長い文書は上限を超える
Transformersには固定の最大長があり、多くの場合512トークンです。長い文書は1回の処理には収まりません。
コンテキストをチャンクに分割する
解決策はチャンク分割です。長い文書を重なりのあるウィンドウに分割し、それぞれのウィンドウで個別にQAを実行します。
ウィンドウを重ねる理由
チャンクは少し重複させる必要があります。そうしないと、チャンクの境界にある回答が分割され、2つのウィンドウの間で失われる可能性があります。
組み込みのスライディングウィンドウ
QAパイプラインにこの処理を任せることもできます。doc_strideを設定して、各ウィンドウが前のウィンドウとどの程度重なるかを制御します。
qa(question=q, context=long_text,
max_seq_len=384, doc_stride=128)チャンクの回答を統合する
各チャンクから、それぞれ回答とスコアが得られます。すべてのチャンクの中から最も高いスコアの候補を最終的な回答として採用します。
読む前に検索する
非常に大規模な文書群では、まず関連性の高い少数の文章を検索し、その後、それらに対してのみQAを実行します。これが大規模なQAシステムの中心的な考え方です。
誠実さが信頼を築く
確信がないときに回答を返さないことは、欠点ではなく機能です。自信のある誤答よりも、誠実なQAのほうがはるかにユーザーの信頼を得られます。🛡️
クイックチェック
非常に長い文書をQAモデルにどのように渡せばよいでしょうか。
まとめ
null回答を許可し、スコアで判定して誠実な回答を実現します。長い文書は重複を持たせてチャンクに分割し、最もスコアの高いスパンを採用します。これで堅牢なQAを提供できます。🎉
AI チューターと学ぶ Python — 無料
ブラウザでリアルコードを書いて実行し、24/7 の AI チューターから瞬時にサポートを受け、ウェブまたはアプリで続きから学習できます。
- コース
- 30
- レッスン
- 120
よくある質問
「回答なしと長い文書に対応する」レッスンは無料ですか？
はい。「回答なしと長い文書に対応する」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、NLP Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 NLP Academyコースには全4レッスンが含まれています。
「回答なしと長い文書に対応する」で何を学びますか？
チャンク分割と信頼度の確認 ブラウザで直接実行するハンズオンコードでNLP Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
NLP Academyを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのNLP Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン4/4です。
「回答なしと長い文書に対応する」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このNLP Academyレッスンでコードを書いて実行できますか？
はい。すべてのNLP Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- 抽出型 QA と生成型 QA
- QA パイプラインを実行する
- 文脈内で回答スパンを見つける
- 回答なしと長い文書に対応する