어휘집 만들기
모든 단어를 고정된 인덱스에 매핑합니다
어휘집 만들기은(는) CoddyKit의 무료 NLP Academy 강의입니다. 이것은 4개 중 2번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 NLP Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. NLP Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
어휘란 무엇인가요?
어휘는 모델이 알고 있는 고유한 단어의 전체 집합입니다. 각 단어에는 모든 문서 벡터에서 고정된 하나의 위치가 할당됩니다. 📖
모든 고유 단어 모으기
어휘를 만들려면 모든 문서에서 단어를 모은 다음 서로 다른 단어만 남기고 반복되는 단어를 제거합니다.
words = set("the cat sat the mat".split())각 단어에 인덱스 부여하기
고유 단어를 정렬하고 각각에 숫자를 할당합니다. 이 단어와 인덱스의 대응표가 어휘 조회표입니다.
vocab = {w: i for i, w in enumerate(sorted(words))}인덱스가 위치를 정합니다
인덱스는 단어가 모든 벡터에서 차지할 위치를 알려 주므로 cat은 항상 같은 열에 배치됩니다.
어휘가 벡터 길이를 정합니다
어휘에 5000개의 단어가 있다면 모든 문서는 단어마다 하나의 위치를 갖는 5000개의 숫자 벡터가 됩니다.
순서는 고정되어야 합니다
한 번 정한 대응표는 절대 바뀌면 안 됩니다. 안정적인 순서가 보장되어야 모든 문서에서 3열이 같은 단어를 의미합니다.
어휘에 없는 단어
어휘에 없는 단어를 어휘 외 단어라고 합니다. 가장 간단한 방법은 셀 때 해당 단어를 무시하는 것입니다.
드문 단어 가지치기
한 번만 나타나는 단어는 잡음과 크기를 늘립니다. 매우 드문 용어를 제거하면 어휘를 더 작고 깔끔하게 유지할 수 있습니다.
매우 흔한 단어 제거하기
거의 모든 문서에 나타나는 단어도 제거할 수 있습니다. 이러한 불용어는 문서를 서로 구별하는 데 거의 도움이 되지 않습니다.
인덱스 조회하기
대응표를 만들고 나면 단어의 위치를 즉시 찾을 수 있습니다. 원하는 단어를 기준으로 사전에서 인덱스를 조회하면 됩니다.
print(vocab["cat"]) # the column index for cat어휘가 세기를 가능하게 합니다
이 대응표는 벡터화의 뼈대입니다. 다음으로 각 문서에서 해당 단어가 몇 번 나타나는지 세어 각 위치를 채웁니다.
빠른 확인
단어 인덱스는 무엇을 나타내나요?
복습: 나만의 어휘
고유 단어로 어휘를 만들고 각각을 고정된 인덱스에 매핑했으며, 가지치기를 통해 어휘를 작고 유용하게 유지하는 방법을 살펴보았습니다. 🎉
AI 튜터와 함께 Python을(를) 배우세요 — 무료
브라우저에서 실제 코드를 작성하고 실행하며, 24/7 AI 튜터로부터 즉각적인 도움을 받고, 웹이나 앱에서 중단한 부분부터 계속 학습하세요.
- 코스
- 30
- 레슨
- 120
자주 묻는 질문
“어휘집 만들기” 강의는 무료인가요?
네 — “어휘집 만들기” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 NLP Academy 강의 전체를 잠금 해제할 수 있습니다. NLP Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
“어휘집 만들기”에서 뭘 배우나요?
모든 단어를 고정된 인덱스에 매핑합니다 브라우저에서 직접 실행하는 실습 코드로 NLP Academy을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.
NLP Academy을(를) 시작하는 데 경험이 필요한가요?
사전 경험은 필요하지 않습니다. CoddyKit의 NLP Academy은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 2번째 강의입니다.
“어휘집 만들기” 강의는 얼마나 걸리나요?
대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.
이 NLP Academy 강의에서 코드를 작성하고 실행할 수 있나요?
네. 모든 NLP Academy 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.