실전 기계 번역

기계 번역은 한 언어의 텍스트를 다른 언어로 변환합니다. 요약과 마찬가지로 문장을 읽고 그에 대응하는 문장을 작성하는 seq2seq 작업입니다. 🌍

처음부터 학습하는 경우는 드뭅니다. MarianMT와 NLLB 같은 프로젝트는 수백 개의 언어 쌍에 사용할 수 있는 완성된 모델을 제공합니다.

Hugging Face는 번역 파이프라인을 제공합니다. 올바른 모델을 불러오려면 작업 문자열에 원본 언어와 대상 언어를 지정합니다.

텍스트를 전달하고 생성된 translation_text를 읽습니다. 파이프라인이 토큰화, 디코딩, 역토큰화를 대신 처리합니다.

기본 제공 작업이 없는 언어 쌍이라면 이름으로 특정 Marian 모델을 불러옵니다. opus-mt 제품군은 매우 다양한 번역 방향을 지원합니다.

모델은 영어에서 독일어로의 번역처럼 하나의 방향에 맞춰 학습됩니다. 반대 방향으로 번역하려면 같은 모델을 거꾸로 사용하는 것이 아니라 역방향 모델이 필요합니다.

여러 문장을 한 번에 번역하려면 문장 목록을 전달합니다. 일괄 처리는 GPU를 효율적으로 사용하므로 한 줄씩 호출하는 것보다 훨씬 빠릅니다.

번역 모델에도 입력 길이 제한이 있습니다. 생각의 중간에서 내용이 조용히 잘리지 않도록 긴 단락을 문장 단위로 나누세요.

번역기는 드문 단어를 하위 단어로 나눕니다. 따라서 전체 단어로 이루어진 고정 어휘 없이도 이름과 처음 보는 단어를 처리할 수 있습니다.

현대 모델은 문맥을 파악하며 문장 전체를 번역합니다. 그래서 과거의 단어별 번역 시스템보다 관용 표현을 훨씬 잘 처리합니다.

영어-스페인어처럼 자원이 풍부한 언어 쌍은 매우 뛰어난 결과를 냅니다. 자원이 부족한 언어는 학습 데이터가 적으므로 결과가 더 거칠 수 있습니다.

Hugging Face pipeline으로 텍스트를 번역하고, 언어 쌍을 선택했으며, 방향과 토큰 제한을 준수하고 문맥이 중요한 이유를 배웠습니다. 🎯