Cechy N-gramowe w scikit-learn

N-gramy można tworzyć ręcznie, ale scikit-learn zrobi to za Państwa. Wystarczy jeden niewielki argument w wektoryzatorze.

Każdy wektoryzator tekstu przyjmuje parametr ngram_range, czyli krotkę określającą minimalny i maksymalny rozmiar. Informuje ona wektoryzator, które n-gramy należy zliczać.

Jeśli pozostawić ten parametr bez zmian, ngram_range ma wartość (1, 1), czyli obejmuje wyłącznie pojedyncze słowa. To znany już zwykły model bag-of-words.

Ustawienie ngram_range na (1, 2) sprawia, że wektoryzator zachowuje pojedyncze słowa i każdą sąsiadującą parę — wszystko w jednej przestrzeni cech.

Potrzebne są tylko pary? Należy użyć (2, 2). Pojedyncze słowa znikną, a jako cechy pozostaną wyłącznie bigramy.

Po dopasowaniu można podejrzeć poznane cechy za pomocą get_feature_names_out. Na liście znajdą się zarówno słowa, jak i połączone wyrażenia.

scikit-learn nazywa każdy bigram, łącząc jego słowa pojedynczą spacją, na przykład not good. Ten ciąg staje się jedną kolumną.

Ten sam parametr ngram_range działa również z TfidfVectorizer. Otrzymuje się frazy n-gramowe, którym dodatkowo przypisywane są wagi zależne od ich charakterystyczności.

Gdy bigramy są włączone, not good trafia do własnej kolumny. Klasyfikator może wreszcie nauczyć się, że ta para sygnalizuje negatywną opinię.

Dodanie bigramów może znacznie zwiększyć liczbę kolumn. Macierz nadal pozostaje rzadka, ale słownik szybko się rozrasta.

Aby ograniczyć ten rozrost, połącz ngram_range z parametrem min_df. Usunięcie rzadkich fraz pozwala zachować tylko te n-gramy, które powtarzają się w użyteczny sposób.

Jedna krotka ngram_range zmienia dowolny wektoryzator w narzędzie do obsługi n-gramów. Należy sprawdzić cechy, a następnie ograniczyć je za pomocą min_df. Teraz wybierzesz odpowiedni zakres. 🎯