Hvorfor modeller trenger tall, ikke ord

De kan ikke si at cat er større enn dog. Ord er kategorier, ikke mengder, så råtekst har ingen numerisk betydning som kan beregnes.

Denne konverteringen fra ord til tabeller med tall kalles vektorisering. Den er bindeleddet mellom språk og maskinlæring.

Den enkleste vektoren viser bare hvor mange ganger hvert ord forekommer. Denne tellebaserte ideen er kjernen i bag-of-words. 🛍️

Det kalles en pose fordi rekkefølgen fjernes. De beholder hvilke ord som forekommer og hvor ofte, men ikke rekkefølgen de kom i.

Se for Dem to anmeldelser. Vi kan gi hver av dem en poengsum ved å telle good og bad, og slik få en enkel numerisk representasjon av tonen.

Hvert dokument blir en vektor med samme lengde, med én plass per kjent ord, slik at en modell kan sammenligne radene direkte.

Hvis et ord aldri forekommer i et dokument, er plassen ganske enkelt null. De fleste plassene ender som null, noe som gjør disse vektorene glisne.

Når teksten er numerisk, fungerer alle klassiske verktøy: avstand, likhet og klassifikatorer opererer alle på disse vektorene.

Opptelling ignorerer grammatikk og ordrekkefølge, så bag-of-words er en grov, men overraskende sterk grunnlinje for mange oppgaver.

De så hvorfor modeller trenger vektorer, ble kjent med bag-of-words og lærte at ordtelling gjør dokumenter om til tall en modell kan lese. 🎉