Od rzadkich zliczeń do gęstych wektorów

Bag-of-words i TF-IDF zamieniały tekst na długie wektory zliczeń. Działają, ale te rzadkie wektory skrywają istotną słabość, którą za chwilę Państwo zobaczą.

Wektor bag-of-words ma jedno miejsce na każde słowo ze słownika, więc krótkie zdanie składa się niemal wyłącznie z zer. Taką reprezentację nazywamy rzadką.

Przy słowniku zawierającym 50 000 słów każdy dokument staje się wektorem o długości 50 000. To bardzo wiele wymiarów jak na zaledwie kilka rzeczywistych sygnałów.

W bag-of-words słowa cat i kitten zajmują całkowicie oddzielne miejsca. Model w ogóle nie dostrzega między nimi podobieństwa, choć my je widzimy.

Rzadkie wektory traktują każde słowo jako niezwiązane z pozostałymi. Rejestrują obecność, ale całkowicie pomijają znaczenie i relacje między słowami.

Embedding reprezentuje każde słowo jako krótką listę liczb rzeczywistych, na przykład 100 wartości. Ta zwarta forma to wektor gęsty.

Zamiast 50 000 miejsc, w większości wypełnionych zerami, otrzymują Państwo około 100 upakowanych liczb. Każdy wymiar dyskretnie koduje pewien wyuczony aspekt znaczenia. ✨

Magia tkwi w geometrii: słowa o podobnym znaczeniu trafiają blisko siebie w przestrzeni. Bliskość w tej przestrzeni oznacza teraz bliskość znaczenia.

Dwa gęste wektory porównujemy za pomocą podobieństwa cosinusowego, które określa zgodność ich kierunków. Wyższa wartość oznacza większe podobieństwo znaczeniowe.

Nikt nie wpisuje tych liczb ręcznie. Algorytm analizuje ogromne ilości tekstu i uczy się wektora każdego słowa na podstawie rzeczywistego sposobu używania słów.

Gęste wektory są mniejsze, inteligentniejsze i rejestrują relacje, których rzadkie zliczenia nigdy nie mogły uchwycić. Ta pojedyncza zmiana zasila większość współczesnego NLP.

Rzadkie zliczenia są ogromne i traktują słowa jako niezwiązane. Gęste embeddingi rozwiązują ten problem za pomocą zwartych wektorów, w których podobne słowa znajdują się blisko siebie. ✅