Dlaczego kolejność ma znaczenie w języku

W języku kolejność słów nie jest ozdobnikiem. Zmień ułożenie słów, a całe znaczenie wypowiedzi może się zmienić.

Zdania „Pies gryzie człowieka” i „Człowiek gryzie psa” zawierają dokładnie te same słowa, ale tylko kolejność wskazuje, kto gryzie.

Model bag-of-words jedynie zlicza tokeny, więc pomija ich kolejność. Oba zdania o gryzieniu wyglądają dla niego zupełnie identycznie.

Gdy zredukujesz tekst do zliczeń słów, nie da się odtworzyć oryginalnej sekwencji. Historia zamienia się w tabelę częstości.

Zauważ, że „nie dobry” oznacza przeciwieństwo słowa „dobry”. Słowo not działa w ten sposób wyłącznie dzięki swojemu miejscu w zdaniu.

Niektóre wskazówki znajdują się daleko od siebie. W zdaniu „Film, który oglądałem wczoraj wieczorem, był świetny” słowo „świetny” odnosi się do „filmu” mimo wielu znajdujących się pomiędzy nimi tokenów.

Czytasz od lewej do prawej, krok po kroku budując znaczenie. Tekst to sekwencja, a wcześniejsze słowa wpływają na interpretację późniejszych.

W Pythonie możesz zachować tę kolejność, dzieląc tekst na listę, w której indeks odzwierciedla pozycję każdego słowa.

Dwa zdania mogą mieć takie same zliczenia, a jednocześnie przeciwne znaczenie. Model ignorujący pozycję nigdy ich nie rozróżni.

Aby uchwycić kolejność, potrzebujemy modeli, które odczytują tekst jako płynną sekwencję i pamiętają, co pojawiło się przed każdym nowym słowem.

Właśnie tę lukę wypełniają recurrent neural networks. Przetwarzają tokeny pojedynczo i w kolejności, zamiast analizować je wszystkie naraz. 🧠

Kolejność słów zmienia znaczenie, ale modele oparte na zliczeniach ją ignorują. To ograniczenie jest powodem, dla którego przechodzimy teraz do modeli uwzględniających sekwencję. 🎯