답변 없음과 긴 문서 처리하기
문서를 나누고 신뢰도를 확인합니다
답변 없음과 긴 문서 처리하기은(는) CoddyKit의 무료 NLP Academy 강의입니다. 이것은 4개 중 4번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 NLP Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. NLP Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
답변이 없는 경우도 있습니다
실제 질문에는 지문에 답변이 없는 경우가 많습니다. 견고한 QA 시스템은 틀린 추측을 억지로 내놓는 대신 답변이 없다고 인정해야 합니다. 🤔
널 답변 개념
이 작업으로 학습한 모델은 널 답변 선택지를 학습합니다. 어떤 스팬도 맞지 않으면 답변을 지어내지 않고 빈 답변을 가리킵니다.
빈 답변 허용하기
pipeline에서 handle_impossible_answer를 true로 설정하면 문맥에 일치하는 내용이 없을 때 빈 문자열을 반환할 수 있습니다.
qa(question=q, context=c,
handle_impossible_answer=True)점수를 기준으로 통과 여부 정하기
신뢰도 점수는 안전 기준입니다. 신뢰할 수 있는 임계값보다 낮으면 해당 응답을 답변 없음으로 처리하십시오.
if result["score"] < 0.2:
answer = "I do not know."긴 문서는 한계에 걸립니다
Transformers에는 고정된 최대 길이가 있으며, 보통 512토큰입니다. 긴 문서는 한 번에 처리할 수 없습니다.
문맥을 청크로 나누기
해결 방법은 청크 분할입니다. 긴 문서를 서로 겹치는 여러 창으로 나눈 다음 각 창에서 QA를 별도로 실행합니다.
창을 겹치는 이유
청크는 조금씩 겹쳐야 합니다. 그렇지 않으면 청크 경계에 걸친 답변이 둘로 나뉘어 두 창 사이에서 사라질 수 있습니다.
내장 슬라이딩 창
QA pipeline이 이 작업을 대신할 수 있습니다. doc_stride를 설정하여 각 창이 이전 창과 얼마나 겹칠지 조정하십시오.
qa(question=q, context=long_text,
max_seq_len=384, doc_stride=128)청크 답변 결합하기
각 청크는 자체 답변과 점수를 생성합니다. 모든 청크 중 가장 높은 점수를 받은 후보를 최종 응답으로 사용합니다.
읽기 전에 검색하기
매우 큰 모음에서는 먼저 가장 관련성이 높은 지문 몇 개를 검색한 다음, 해당 지문에 대해서만 QA를 실행하십시오. 이것이 대규모 QA 시스템의 핵심입니다.
정직함이 신뢰를 만듭니다
확신이 없을 때 답변을 반환하지 않는 것은 결함이 아니라 기능입니다. 정직한 QA가 확신에 찬 오답보다 훨씬 큰 사용자 신뢰를 얻습니다. 🛡️
빠른 확인
매우 긴 문서를 QA 모델에 어떻게 전달할까요?
복습
널 답변을 허용하고 점수를 기준으로 판단하여 정직성을 확보하십시오. 긴 문서는 겹치도록 청크로 나눈 다음 점수가 가장 높은 스팬을 선택합니다. 이제 견고한 QA를 배포할 수 있습니다. 🎉
AI 튜터와 함께 Python을(를) 배우세요 — 무료
브라우저에서 실제 코드를 작성하고 실행하며, 24/7 AI 튜터로부터 즉각적인 도움을 받고, 웹이나 앱에서 중단한 부분부터 계속 학습하세요.
- 코스
- 30
- 레슨
- 120
자주 묻는 질문
“답변 없음과 긴 문서 처리하기” 강의는 무료인가요?
네 — “답변 없음과 긴 문서 처리하기” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 NLP Academy 강의 전체를 잠금 해제할 수 있습니다. NLP Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
“답변 없음과 긴 문서 처리하기”에서 뭘 배우나요?
문서를 나누고 신뢰도를 확인합니다 브라우저에서 직접 실행하는 실습 코드로 NLP Academy을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.
NLP Academy을(를) 시작하는 데 경험이 필요한가요?
사전 경험은 필요하지 않습니다. CoddyKit의 NLP Academy은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 4번째 강의입니다.
“답변 없음과 긴 문서 처리하기” 강의는 얼마나 걸리나요?
대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.
이 NLP Academy 강의에서 코드를 작성하고 실행할 수 있나요?
네. 모든 NLP Academy 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.
이 강의의 모든 강의
- 추출형 QA와 생성형 QA 비교
- QA 파이프라인 실행하기
- 문맥에서 답변 구간 찾기
- 답변 없음과 긴 문서 처리하기