검색 증강 생성(RAG)

검색 증강 생성(RAG)에 오신 것을 환영합니다! 이 레슨에서는 대규모 언어 모델(LLM)을 더 정확하고 신뢰할 수 있게 만드는 강력한 기법을 소개합니다.

RAG는 LLM의 방대한 지식과 최신 외부 정보를 결합합니다. 어려운 시험 중 LLM에게 펼친 책을 건네는 것과 같습니다!

기본 LLM은 인상적이지만 몇 가지 한계가 있습니다.

• 환각: 사실과 다르거나 앞뒤가 맞지 않는 정보를 생성할 수 있습니다.
• 오래된 지식: 지식이 학습 데이터의 기준일에 제한됩니다.
• 구체성 부족: 틈새 분야나 비공개 영역의 전문적인 사실을 알지 못할 수 있습니다.
• 출처 인용 없음: 정보의 출처를 쉽게 알려 주지 못합니다.

RAG는 검색 시스템을 생성형 LLM과 통합하여 이러한 한계를 해결합니다.

LLM이 응답을 생성하기 전에 RAG는 신뢰할 수 있는 외부 지식 기반에서 관련 정보를 먼저 검색합니다. 그런 다음 검색된 정보로 LLM에 제공할 프롬프트를 '증강'(강화)합니다.

RAG의 첫 번째 단계는 검색입니다. 사용자가 질문하면 전용 '검색기' 구성 요소가 작동합니다.

• 사용자의 질의를 분석합니다.
• 대규모 외부 지식 기반을 검색합니다(예: 문서, 데이터베이스, 웹 페이지).
• 질의와 관련된 가장 적절한 정보 조각이나 '문서'를 식별하여 가져옵니다.

관련 정보가 검색되면 다음 단계는 증강입니다.

• 검색된 텍스트 조각을 원래 사용자 프롬프트에 직접 삽입합니다.
• 이렇게 하면 사용자의 요청과 사실에 근거한 맥락이 모두 포함된 '증강된 프롬프트'가 만들어집니다.
• 이렇게 풍부해진 프롬프트는 LLM이 정확한 답변을 구성하는 데 필요한 구체적인 데이터를 제공합니다.

마지막으로 생성 단계가 진행됩니다. 대규모 언어 모델(LLM)이 증강된 프롬프트를 받습니다.

• 이제 관련 맥락이 명시적으로 제공되므로 LLM이 응답을 생성합니다.
• 사전 학습된 지식에만 의존하지 않고 제공된 정보를 주된 근거로 삼아 답변하도록 지시받습니다.
• 그 결과 사실에 더 부합하고, 근거가 명확하며, 검증 가능한 출력이 생성됩니다.

RAG를 구현하면 다음과 같은 중요한 이점이 있습니다.

• 환각 감소: LLM의 답변이 지식 기반의 사실에 근거합니다.
• 최신 정보: LLM의 학습 기준일 이후의 최신 데이터에도 접근할 수 있습니다.
• 분야 특화성: 조직의 비공개 데이터나 전문 데이터를 쉽게 통합할 수 있습니다.
• 설명 가능성: 정보를 검색한 출처를 시스템에서 인용할 수 있는 경우가 많습니다.

간단한 RAG 상호작용을 살펴보겠습니다.

1. 사용자 질의: "에펠탑은 언제 완공되었나요?"
2. 검색: 시스템이 역사적 사실 데이터베이스를 검색하여 "에펠탑은 1889년 3월 31일에 완공되었습니다."를 찾습니다.
3. 증강: 프롬프트가 다음과 같이 바뀝니다. "다음 정보를 바탕으로 '에펠탑은 1889년 3월 31일에 완공되었습니다.' 에펠탑은 언제 완공되었나요?"
4. 생성: LLM이 "에펠탑은 1889년 3월 31일에 완공되었습니다."라고 답변합니다.

RAG 시스템은 핵심적으로 두 가지 주요 논리적 구성 요소로 이루어집니다.

• 검색기: 사용자의 질의를 바탕으로 외부 지식 기반에서 가장 관련성 높은 문서나 데이터 조각을 검색하고 가져오는 역할을 합니다.
• 생성기: 대규모 언어 모델(LLM) 자체입니다. 사용자의 원래 질의를 검색된 맥락과 결합하여 일관되고 충분한 정보를 담은 답변을 생성합니다.

LLM에 검색 증강 생성(RAG)을 사용할 때 얻을 수 있는 주요 이점은 다음 중 무엇인가요?

이제 검색 증강 생성(RAG)의 핵심 개념과 구조를 배웠습니다. RAG는 더욱 안정적이고 사실에 근거하며 맥락을 인식하는 LLM 애플리케이션을 구축하는 데 중요한 기법입니다.

RAG는 검색과 생성을 결합하여 LLM이 동적인 외부 데이터와 상호작용하고 이를 바탕으로 답변할 수 있게 합니다. 다음에는 벡터 데이터베이스가 RAG 시스템에서 효율적인 검색에 중요한 역할을 하는 방식을 살펴보겠습니다!