Wygładzanie Laplace’a i problem zerowego prawdopodobieństwa

Naive Bayes oblicza prawdopodobieństwo a posteriori klasy, mnożąc prawdopodobieństwa warunkowe wszystkich cech: P(class|features) ∝ P(class) * product of P(feature_i | class). Jeśli dowolna pojedyncza cecha ma zerowe prawdopodobieństwo w danej klasie — ponieważ nigdy nie wystąpiła w danych treningowych dla tej klasy — cały iloczyn wynosi zero, niezależnie od pozostałych cech. Oznacza to, że jedno niewidziane słowo uniemożliwia klasyfikatorowi rozróżnienie klas dla tego dokumentu. Jest to problem zerowego prawdopodobieństwa, szczególnie dotkliwy w przypadku danych tekstowych, gdzie słownictwo podczas testowania niemal zawsze zawiera słowa nieobecne w danych treningowych.

Gdy P(features|class) = 0 jednocześnie dla wielu klas (co dzieje się w obecności niewidzianych słów), klasyfikator nie może ich rozróżnić — wszystkie prawdopodobieństwa a posteriori wynoszą 0. Gdy zerowe prawdopodobieństwo występuje tylko dla niektórych klas, klasyfikator jest zmuszony wybierać spośród pozostałych, które mogą być niewłaściwe. Nie jest to tylko niedogodność numeryczna — to fundamentalna awaria modelu. W przestrzeni logarytmów zerowe prawdopodobieństwo staje się ujemną nieskończonością: log(0) = -infinity. Dodanie wartości skończonych nadal daje -infinity, więc pojedyncze zero całkowicie dominuje prawdopodobieństwo logarytmiczne i pomija wszystkie pozostałe przesłanki.

Wygładzanie Laplace’a (nazywane również wygładzaniem addytywnym lub wygładzaniem add-one) rozwiązuje problem zerowego prawdopodobieństwa, dodając małą stałą alpha do zliczenia każdego słowa przed obliczeniem prawdopodobieństw. Wzór przyjmuje postać: P(word | class) = (count(word, class) + alpha) / (total_words_in_class + alpha * vocab_size). Przy alpha=1 każde słowo otrzymuje co najmniej jedno „wirtualne” wystąpienie w każdej klasie. Gwarantuje to, że żadne słowo nie będzie miało zerowego prawdopodobieństwa, a jednocześnie minimalnie wpływa na słowa, które rzeczywiście często występowały w danych treningowych.

Parametr alpha określa, jak silne jest wygładzanie. Alpha=1 (wygładzanie Laplace’a) dodaje jedno wirtualne zliczenie każdego słowa dla każdej klasy. Większe wartości alpha powodują silniejsze wygładzanie — prawdopodobieństwa słów zbliżają się do rozkładu jednostajnego (1/vocab_size). Bardzo małe wartości alpha (0.001) zapewniają minimalne wygładzanie, ale są stabilne numerycznie. Optymalna wartość alpha równoważy eliminowanie zer z unikaniem nadmiernego wygładzania rzeczywistych sygnałów. Walidacja krzyżowa jest właściwą metodą wyboru alpha — w większości zadań klasyfikacji tekstu wartość ta zwykle mieści się w przedziale od 0.01 do 1.0.

Wygładzanie Lidstone’a jest uogólnioną postacią wygładzania Laplace’a, w której alpha może przyjmować dowolną dodatnią wartość, a nie tylko 1.0. Gdy alpha=1, mamy wygładzanie Laplace’a (add-one). Gdy alpha < 1, bywa ono nazywane wygładzaniem Jeffreysa–Perksa. Nie istnieje uniwersalnie najlepsza wartość alpha — zależy ona od rozmiaru słownictwa, wielkości danych treningowych i charakterystyki danych testowych. W przypadku dużych zbiorów treningowych (milionów dokumentów) dobrze sprawdzają się bardzo małe wartości alpha (0.001), ponieważ większość słów występuje w danych. W przypadku małych zbiorów treningowych większe wartości alpha zapobiegają nadmiernemu dopasowaniu do zaobserwowanych zliczeń słów.

Oto konkretne porównanie pokazujące, jak wygładzanie zapobiega katastrofie zerowego prawdopodobieństwa. Bez wygładzania dokument zawierający jedno niewidziane słowo otrzymuje prawdopodobieństwo a posteriori równe 0 dla klasy, której to dotyczy. Po zastosowaniu wygładzania niewidziane słowo otrzymuje małe, ale dodatnie prawdopodobieństwo, dzięki czemu zachowany zostaje wpływ wszystkich pozostałych cech. Przewidywana klasa nie zmienia się, gdy niewidziane słowo nie ma mocy różnicującej, ale prawdopodobieństwo jest teraz sensowną wartością, a nie 0 lub -infinity.

Wygładzanie pomaga również w przypadku słów spoza słownika (OOV) podczas wnioskowania. Słowa nieobecne w słowniku treningowym są domyślnie ignorowane przez CountVectorizer (nie otrzymują kolumny w macierzy cech). Słowa, które znajdowały się w słowniku, ale miały zerowe zliczenie w jednej z klas, są natomiast obsługiwane przez wygładzanie. Oba mechanizmy współdziałają: handle_unknown='ignore' w CountVectorizer (dla całkowicie niewidzianych słów) oraz alpha w MultinomialNB (dla słów o zerowym zliczeniu w obrębie słownika). Odporna potokowa architektura tekstowa korzysta z obu mechanizmów, aby radzić sobie z nieuniknionymi zmianami słownictwa między danymi treningowymi a danymi używanymi po wdrożeniu.

BernoulliNB stosuje wygładzanie Laplace’a w podobny sposób: zamiast prawdopodobieństw zliczeń słów wygładza binarne prawdopodobieństwa obecności P(feature=1|class) i P(feature=0|class). GaussianNB korzysta z innego podejścia — dodaje mały ułamek wariancji, aby uniknąć zerowej wariancji dla stałych cech: var_smoothing dodaje do wszystkich wariancji ten ułamek największej wariancji w zbiorze danych. Każdy wariant ma mechanizm wygładzania odpowiedni dla przyjętego założenia o rozkładzie, ale wszystkie mają ten sam podstawowy cel: zapobiegać zerowym prawdopodobieństwom, które spowodowałyby awarię modelu.

Wygładzanie Laplace’a w naiwnym Bayesie jest koncepcyjnie podobne do regularyzacji L2 w regresji logistycznej lub zaniku wag w sieciach neuronowych. Wszystkie trzy mechanizmy zapobiegają ekstremalnym wartościom parametrów, przesuwając oszacowania w kierunku neutralnej wartości bazowej (rozkładu jednostajnego w przypadku Laplace’a, zerowych wag w przypadku L2). Kluczowa różnica polega na tym, że wygładzanie Laplace’a dotyczy oszacowań prawdopodobieństwa i ma jasną interpretację bayesowską — jest równoważne dodaniu alpha wyobrażonych obserwacji każdego słowa do każdej klasy. Większa wartość alpha odpowiada silniejszemu przekonaniu a priori, że wszystkie słowa są jednakowo prawdopodobne, co przyciąga oszacowania w kierunku rozkładu jednostajnego.

Aby jednoznacznie wykazać wartość wygładzania, należy porównać modele z wygładzaniem i bez niego na zbiorze danych, w którym niektóre słowa testowe rzeczywiście nie występują w danych treningowych. Można sztucznie utworzyć taki przypadek, trenując model na małym korpusie i testując go na większym. Bez wygładzania dokładność gwałtownie spada, ponieważ słowa spoza słownika dla określonych klas powodują zerowe prawdopodobieństwa a posteriori. Dzięki wygładzaniu model sprawnie obsługuje nowe słowa i koncentruje się na tych, które rozpoznaje. Ta odporność sprawia, że Naive Bayes z wygładzaniem pozostaje mocnym modelem bazowym nawet dziesięciolecia po jego wprowadzeniu.

Z perspektywy bayesowskiej wygładzanie Laplace’a jest równoważne przyjęciu symetrycznego rozkładu a priori Dirichleta dla rozkładu prawdopodobieństw słów w każdej klasie. Rozkład Dirichleta jest sprzężonym rozkładem a priori dla rozkładu wielomianowego, co oznacza, że rozkład a posteriori (przy zaobserwowanych zliczeniach słów) również ma postać rozkładu Dirichleta, a oszacowanie MAP (maximum a posteriori) jest dokładnie wzorem na prawdopodobieństwo wygładzone metodą Laplace’a. Alpha jest parametrem koncentracji rozkładu a priori Dirichleta: alpha=1 oznacza rozkład jednostajny (wszystkie słowa są jednakowo prawdopodobne a priori), alpha<1 oznacza rozkład rzadki (większość słów ma a priori prawdopodobieństwo bliskie zeru), a alpha>1 oznacza rozkład gęsty (przesuwa wszystkie słowa w kierunku jednakowego prawdopodobieństwa). To ujęcie bayesowskie wyjaśnia, dlaczego małe wartości alpha są odpowiednie dla dużych korpusów, a duże wartości alpha dla małych korpusów.

W tej lekcji nauczyli się Państwo, że problem zerowego prawdopodobieństwa pojawia się, gdy nieznane słowa powodują spadek całego prawdopodobieństwa a posteriori do zera, wygładzanie Laplace’a dodaje pseudoliczniki alfa, aby zagwarantować każdemu słowu dodatnie prawdopodobieństwo, a optymalna wartość alfa jest hiperparametrem dostrajanym za pomocą walidacji krzyżowej, który zapewnia równowagę między eliminowaniem zer a nadmiernym wygładzaniem rzeczywistych sygnałów. Następnie omówimy metryki klasyfikacji, w tym dokładność, precyzję, czułość i wynik F1.