가드레일이란 무엇인가

안전장치는 LLM 주변에서 작동하며 안전성, 정책 및 품질을 강제하는 프로그래밍 방식의 검사입니다. 안전장치는 입력될 때(사용자 입력)와 출력될 때(모델 출력) 모두 실행되어 모델에 전달되는 것과 사용자에게 전달되는 것을 통제합니다.

모델은 확률적이지만 안전장치는 그 위에 계층화된 결정론적 정책 시행 수단입니다.

‘비밀을 절대 공개하지 마십시오’와 같은 시스템 프롬프트 지시는 느슨합니다. 탈옥 공격으로 무시되거나, 긴 문맥에서 약화되거나, 분포 변화 상황에서 무시될 수 있습니다. 안전장치는 모델 외부의 코드이므로 논쟁의 여지가 없으며 강력합니다.

심층 방어를 적용하십시오. 모델에 프롬프트를 제공하는 동시에 독립적인 검사로 감싸십시오.

서로 다른 역할을 하는 두 가지 배치가 있습니다.

• 입력 안전장치는 토큰 비용이 발생하기 전에 프롬프트 주입, 허용되지 않는 요청 및 PII를 차단합니다.
• 출력 안전장치는 사용자에게 전달되기 전에 안전하지 않은 콘텐츠, 유출된 데이터, 환각 및 스키마 위반을 포착합니다.

입력 검사는 비용을 절약하고, 출력 검사는 사용자를 보호합니다.

안전장치는 작동 조건에 도달했을 때 수행할 조치를 결정해야 합니다.

• 차단 — 거부하고 안전한 메시지를 반환합니다.
• 삭제 — 문제가 되는 부분을 제거하고 계속합니다.
• 재생성 — 위반 사항을 알린 뒤 다시 프롬프트를 보냅니다.
• 전달 — 사람이나 더 엄격한 모델로 보냅니다.

적절한 조치는 심각도와 사용자의 신뢰도에 따라 달라집니다.

안전장치를 순서가 있는 처리 흐름으로 구성하고, 첫 번째 중대한 위반에서 즉시 실패하십시오.

구현 방식은 두 가지입니다.

• 결정론적 — 정규 표현식, 스키마, 허용 및 거부 목록, 고정 임계값을 사용하는 분류기입니다. 빠르고 저렴하며 감사할 수 있습니다.
• 모델 기반 — 콘텐츠 검토 모델이나 LLM 판정기가 복잡한 정책을 평가합니다. 유연하지만 느리고 그 자체로도 오류가 발생할 수 있습니다.

엄격한 규칙에는 결정론적 안전장치를 사용하고, 판단이 필요한 경우에는 모델 기반 안전장치를 사용하십시오.

안전장치는 각각 지연 시간을 추가합니다. 빠른 처리를 유지하기 위한 전략은 다음과 같습니다.

• 서로 독립적인 출력 안전장치를 병렬로 실행하십시오.
• 비용이 높은 모델 검사보다 저렴한 결정론적 검사를 먼저 배치하십시오.
• 처음으로 중대한 차단이 발생하면 즉시 중단하십시오.
• 출력을 스트리밍하되, 중요한 안전장치를 통과할 때까지 전달을 보류하십시오.

지나치게 공격적인 안전장치는 정상적인 요청을 차단하고 사용자를 불편하게 만듭니다. 예를 들어 정상적인 질문에도 ‘도와드릴 수 없습니다’라고 응답하게 됩니다. 레이블이 지정된 집합을 기준으로 임계값을 조정하고, 공격에 대한 재현율뿐 아니라 오탐률도 핵심 지표로 추적하십시오.

사용자에게 토큰을 스트리밍하면 늦게 도착한 위반 내용이 이미 화면에 표시되었을 수 있습니다. 선택지는 다음과 같습니다.

• 전체 내용을 버퍼링하고, 검사한 뒤, 공개하십시오. 가장 안전하지만 지연 시간이 늘어납니다.
• 스트리밍 중 문장 경계에서 검사하십시오.
• 일단 낙관적으로 스트리밍하되, 위반이 발생하면 철회하거나 대체하십시오.

유출된 부분 출력이 얼마나 해로운지에 따라 선택하십시오.

안전장치는 규정 준수를 입증하는 증적입니다. 입력 해시, 안전장치 식별자, 심각도 및 취한 조치와 함께 모든 판정을 기록하되, 민감한 콘텐츠 자체는 기록하지 않도록 주의하십시오. 이 기록은 감사에서 정책이 시행되었음을 입증하고 조정 작업에 활용됩니다.

안전장치는 위험을 줄일 뿐 제거하지는 못합니다. 비밀에 접근할 수 없는 모델은 비밀을 유출할 수 없습니다. 최소 권한, 범위가 제한된 도구, 민감한 데이터를 문맥에 넣지 않는 것과 같은 아키텍처 제어를 우선하고, 안전장치는 유일한 계층이 아니라 마지막 계층으로 사용하십시오.

허용되지 않는 요청의 토큰 비용을 주로 줄이는 안전장치는 어느 위치에 배치해야 합니까?

안전장치의 기본 원칙:

• 확률적 모델 주변에 계층화된 결정론적 정책입니다.
• 입력 안전장치는 비용을 절약하고, 출력 안전장치는 사용자를 보호합니다.
• 조치에는 차단, 삭제, 재생성 및 전달이 있습니다.
• 결정론적 검사와 모델 기반 검사를 조합하고 병렬로 실행하십시오.
• 오탐을 추적하고, 판정을 기록하며, 임시 수정이나 패치보다 아키텍처를 우선하십시오.

다음 주제: 입력 및 출력 필터링을 자세히 살펴봅니다.