인공지능은 왜 자신 있게 사실을 지어낼까요

인공지능에서 가장 까다로운 점은 완전히 틀린 내용을 완전히 확신하는 듯한 말투로 이야기할 수 있다는 것입니다. 불안해하는 말투도, 주저하는 표현도 없습니다. 지어낸 사실을 진짜 사실처럼 매끄럽게 말합니다.

이런 확신에 찬 오류를 환각이라고 합니다. 환각이 발생하는 이유를 이해하는 것이 속지 않기 위한 첫 번째 방어책입니다.

인공지능이 어떻게 작동하는지 기억하세요. 인공지능은 이어질 가능성이 높은 단어를 하나씩 예측합니다. 데이터베이스에서 사실을 찾아보는 것이 아닙니다. 그저 그럴듯하게 들리는 글을 만들어 냅니다.

대부분의 경우 그럴듯하게 들리는 것과 실제로 옳은 것은 일치합니다. 하지만 때로는 가장 자연스럽게 들리는 문장이 단순히 거짓일 수 있으며, 인공지능에는 그것이 거짓임을 알려 주는 내장 경보 장치가 없습니다.

인공지능은 실제로 무엇이 참인지 알지 못합니다. 의식도 없고 내부에 사실 확인 기능이 있는 것도 아닙니다. 그저 그럴듯한 언어를 만들어 냅니다.

그래서 통계 수치나 날짜, 인용문을 완전히 확신하는 태도로 지어낼 수 있습니다. 인공지능에게는 설득력 있게 들리는 거짓말과 사실이 똑같습니다. 둘 다 가능성이 높은 단어 패턴일 뿐입니다.

인공지능은 무언가를 모를 때 모른다고 말하지 않는 경우가 많습니다. 대신 빈틈을 메워 답의 패턴에 들어맞는 내용을 만들어 냅니다.

인공지능이 배운 적 없는 희귀한 사실을 물어보면 모른다고 인정하는 대신 그럴듯한 답을 매끄럽게 지어낼 수 있습니다. 빈틈을 메우려는 성향에서 바로 환각이 생겨납니다.

인공지능에게 특정 책의 인용문을 요청했다고 해 보겠습니다. 인공지능은 우아하고 내용에도 잘 어울리는 인용문을 정확한 출처와 함께 제시합니다. 완벽하게 들리지만, 사실 그 인용문은 존재하지 않습니다.

인공지능은 그 책에 나올 법한 인용문처럼 들리는 내용을 만들어 낸 것입니다. 악의도, 자각도 없이 단지 패턴을 맞추다가 확신에 차서 틀린 것입니다. 이런 일은 초보자가 생각하는 것보다 더 자주 일어납니다.

환각은 특정 사실, 수치, 날짜, 이름, 출처, 인용문 같은 것에서 집중적으로 나타납니다. 세부 내용이 정확하고 희귀할수록 위험은 커집니다.

일반적인 설명은 대체로 신뢰할 만합니다. 인공지능이 확신에 차서 지어낼 가능성이 가장 높은 것은 정확한 인용 정보, 구체적인 통계 수치, 잘 알려지지 않은 이름입니다. 이를 알면 언제 특히 주의해야 하는지 판단할 수 있습니다.

인공지능 모델은 특정 시점까지의 데이터로 학습하므로 최근 사건을 잘 모를 수 있습니다. 새로운 일을 물어보면 추측한 뒤 그 추측을 사실처럼 제시할 수 있습니다.

최근 뉴스, 가격, 빠르게 변하는 주제에 관한 답변은 특히 의심해 보세요. 인공지능은 더 이상 존재하지 않거나 애초에 존재한 적도 없는 세상을 확신에 차서 설명할 수 있습니다.

인공지능이 여러분을 속이려는 것이 아니라는 점을 아는 것이 도움이 됩니다. 인공지능에는 의도가 전혀 없습니다. 환각은 여러분을 오도하려는 선택이 아니라, 인공지능이 작동하는 방식에서 생기는 부작용입니다.

이 점이 중요한 이유는 인공지능에게 정직하라고 요청한다고 해서 문제가 해결되지는 않기 때문입니다. 인공지능은 이미 자신이 도움을 주고 있다고 생각합니다. 안전장치는 여러분이 마련해야 합니다.

확신에 찬 답변을 모두 액면 그대로 받아들이면 결국 거짓된 내용을 바탕으로 행동하게 됩니다. 보고서에 잘못된 사실을 쓰거나, 지어낸 출처를 사용하거나, 틀린 날짜를 적는 일이 생길 수 있습니다.

해결책은 인공지능 사용을 중단하는 것이 아니라 현명하게 사용하는 것입니다. 사고와 초안 작성에는 인공지능을 활용하되, 의존하기 전에 중요한 구체적인 사실은 확인하세요.

간단한 마음가짐을 가져 보세요. 인공지능은 뛰어나고 빠른 조력자이지만, 가끔 확신에 차서 틀립니다. 방향을 잡을 때는 신뢰하되, 세부 내용은 다시 확인하세요.

이는 지나친 의심이 아니라 어떤 단일 출처에나 적용해야 하는 것과 같은 신중함입니다. 환각이 존재한다는 사실을 아는 것만으로도 이미 대부분의 사용자보다 한발 앞서 있습니다.

정확한 통계 수치나 잘 알려지지 않은 출처의 인용문처럼 희귀하고 구체적인 내용을 인공지능에게 요청해 보세요. 그런 다음 다른 곳에서 확인해 보세요.

인공지능이 확신에 차서 지어낸 내용일 수도 있습니다. 직접 환각을 한 번 경험해 보면, 그런 일이 일어날 수 있다는 말을 듣기만 하는 것보다 이 교훈이 훨씬 오래 기억에 남습니다.

핵심 생각을 시험해 보겠습니다.

환각은 확신에 차서 지어낸 답변입니다. 인공지능은 그럴듯한 단어를 예측할 뿐 참과 거짓을 실제로 구별하지 못하기 때문에, 모른다고 인정하는 대신 빈틈을 메우면서 환각을 일으킵니다.

구체적인 사실, 수치, 인용문, 출처, 최근 사건에서 위험이 가장 큽니다. 인공지능은 거짓말을 하는 것이 아니며 의도도 없습니다. 안전장치는 여러분입니다. 방향은 믿되 세부 내용은 확인하세요.