Een vocabulaire bouwen

Sorteer de unieke woorden en geef elk woord een nummer. Deze koppeling van woord aan index is je woordenschatopzoeking.

De index vertelt op welke positie een woord in elke vector staat, zodat cat altijd in dezelfde kolom terechtkomt.

Als je woordenschat 5000 woorden bevat, wordt elk document een vector met 5000 getallen, één positie per woord.

Eenmaal ingesteld mag de koppeling nooit veranderen. Een vaste volgorde garandeert dat kolom 3 in elk document hetzelfde woord betekent.

Een woord dat niet in je woordenschat staat, heet buiten de woordenschat. De eenvoudigste keuze is om het tijdens het tellen te negeren.

Woorden die één keer voorkomen voegen ruis en omvang toe. Door zeer zeldzame termen te verwijderen, houd je de woordenschat kleiner en overzichtelijker.

Je kunt ook woorden verwijderen die in bijna elk document voorkomen. Deze stopwoorden helpen zelden om documenten van elkaar te onderscheiden.

Als de koppeling is opgebouwd, vind je een woordpositie direct. Indexeer daarvoor het woordenboek met het woord dat je zoekt.

Deze koppeling vormt de basis van vectorisatie. Vervolgens vul je elke positie met hoe vaak dat woord in een document voorkomt.

Je hebt een woordenschat met unieke woorden opgebouwd, elk woord aan een vaste index gekoppeld en gezien hoe snoeien de woordenschat compact en bruikbaar houdt. 🎉