셀프 어텐션 단계별 이해

자기 주의집중에서는 모든 단어가 같은 문장에 있는 다른 모든 단어를 살펴보며, 자신을 더 풍부하고 문맥을 고려하는 표현으로 만듭니다. 🔍

각 단어는 세 개의 벡터, 즉 질의, 키, 값으로 투영됩니다. 이 세 가지 역할이 자기 주의집중 계산 전체를 이끕니다.

질의는 단어가 무엇을 찾고 있는지를 나타냅니다. 이 단어가 문장의 나머지 부분에 대해 던지는 질문이라고 생각하시면 됩니다.

각 단어는 자신이 무엇을 담고 있는지 알려 주는 키와, 선택되었을 때 전달할 실제 정보를 담은 값을 함께 제공합니다.

내적을 사용해 질의를 모든 키와 비교합니다. 내적이 클수록 질의와 키가 잘 맞는다는 뜻이므로 해당 단어에 더 집중해야 합니다.

점수를 키 차원의 제곱근으로 나눕니다. 이렇게 크기를 조정하면 숫자가 안정적으로 유지되어 softmax가 지나치게 뾰족해지지 않습니다.

조정된 점수를 softmax에 통과시켜, 문장의 모든 단어에 걸쳐 양수이고 합이 1인 어텐션 가중치를 얻습니다.

각 값에 해당 가중치를 곱한 다음 모두 더합니다. 그 결과 가장 관련성 높은 단어들의 정보를 결합한 새로운 벡터가 만들어집니다.

모든 단계는 하나의 깔끔한 표현식으로 합쳐집니다. 이는 트랜스포머 논문에서 소개한 질의, 키, 값에 대한 크기 조정 내적 어텐션입니다.

질의, 키, 값이 모두 같은 시퀀스에서 나오기 때문에 자기 주의집중이라고 부릅니다. 따라서 단어는 자신의 주변 단어에 주의를 기울일 수 있습니다.

"피곤했다"라는 문장에서 자기 주의집중은 주변 단어에 가중치를 부여해 그것을 올바른 명사와 연결하고, 모든 토큰에 더 명확한 문맥을 제공합니다.

자기 주의집중의 과정을 살펴보았습니다. 단어를 질의, 키, 값으로 바꾸고, 점수를 계산하고, 크기를 조정하고, softmax를 적용한 뒤 값을 결합합니다. 이것이 핵심 작동 원리입니다. ⚙️