Transformers 라이브러리 둘러보기

허깅페이스 Transformers는 최신 언어 모델을 아주 적은 코드로 사용하고 미세 조정할 수 있는 대표적인 Python 라이브러리입니다. 🤗

pip 명령 한 번으로 라이브러리를 프로젝트에 추가하면 수천 개의 사전 학습된 모델을 사용할 수 있습니다.

수행하는 거의 모든 작업은 세 가지 구성 요소를 기반으로 합니다. 바로 모델, 토크나이저, 그리고 둘을 연결하는 고수준 파이프라인입니다.

모델은 BERT나 GPT 같은 트랜스포머가 학습한 가중치를 담고 있습니다. 입력 숫자를 레이블이나 텍스트 같은 예측 결과로 변환합니다.

토크나이저는 원시 텍스트를 모델이 요구하는 정수 ID로 변환하고, 출력은 다시 읽을 수 있는 텍스트로 변환합니다.

파이프라인은 토크나이저와 모델을 호출 가능한 하나의 묶음으로 결합하므로, 수동 설정 없이 한 줄로 작업을 실행할 수 있습니다.

만든 파이프라인을 함수처럼 호출하면 레이블과 신뢰도 점수가 포함된 깔끔한 결과가 반환됩니다.

허깅페이스 허브에는 이름으로 불러올 수 있는 공유 모델이 등록되어 있으므로, 처음부터 직접 학습해야 하는 경우가 드뭅니다.

AutoModel과 AutoTokenizer 같은 도우미는 어떤 체크포인트에든 알맞은 클래스를 선택하므로, 한 줄의 코드로 다양한 아키텍처에서 작업할 수 있습니다.

파이프라인은 분류, 개체명 인식, 요약, 번역, 질의 응답 등 다양한 작업을 기본으로 지원합니다.

파이프라인은 모델을 시험해 보기에 좋지만, 이 강좌 후반에는 자신의 데이터로 모델을 미세 조정하여 진정으로 자신에게 맞게 만들게 됩니다.

Transformers는 모델, 토크나이저, 파이프라인을 제공합니다. 허브에서 체크포인트를 불러오고 몇 줄만으로 실제 자연어 처리 작업을 실행할 수 있습니다. ✅