Matematyka słów: King minus Man plus Woman

Ponieważ słowa są teraz wektorami, można je dodawać i odejmować jak strzałki. Otwiera to ciekawy pomysł nazywany matematyką słów.

Od słowa king odejmujemy man, dodajemy woman, a najbliższym wektorem okazuje się queen. Ta analogia zadziwiła badaczy, gdy pojawiła się po raz pierwszy. 👑

Przejście od man do woman jest stałym kierunkiem w przestrzeni. Dodanie tego samego kierunku do king prowadzi w pobliże queen.

Wiele relacji staje się powtarzalnymi przesunięciami wektorów. Odstęp kodujący płeć lub czas zachowuje się jak stała strzałka między parami słów.

Ten trik dobrze się uogólnia. Paris minus France plus Italy prowadzi w pobliże Rome, odwzorowując relację między stolicą a państwem.

Oblicza się wektor docelowy, a następnie wyszukuje jego najbliższego sąsiada wśród wszystkich wektorów słów za pomocą podobieństwa cosinusowego.

gensim opakowuje całą analogię w jednym wywołaniu. Wystarczy podać słowa dodatnie i ujemne, a następnie odczytać wynik z samej góry.

Nawet bez odejmowania można zapytać, które słowa znajdują się najbliżej danego terminu. Ci sąsiedzi pokazują, co model uznaje za podobne.

Analogie często działają, ale nie zawsze. Uprzedzenia w tekście treningowym mogą prowadzić do niesprawiedliwych lub błędnych wyników, dlatego należy zachować krytyczne podejście.

Embeddingi przejmują stereotypy obecne w danych. Zawsze należy pamiętać, że uprzedzenia w tekście stają się uprzedzeniami w modelu.

Prosta arytmetyka wyuczonych wektorów odzwierciedla rzeczywiste relacje między ludźmi. To najwyraźniejszy znak, że embeddingi naprawdę uchwyciły znaczenie. ✨

Matematyka słów dodaje i odejmuje wektory, aby rozwiązywać analogie, takie jak king do queen. Pokazuje to, że embeddingi kodują rzeczywiste relacje — wraz z całymi uprzedzeniami. ✅