Bayes' teorem forklart enkelt

Bayes' teorem er en matematisk regel for å oppdatere antakelser i lys av nye bevis. Det besvarer spørsmålet: Gitt at jeg observerte X, hvor sannsynlig er hypotesen H? Formelen er: P(H|X) = P(X|H) * P(H) / P(X). Med enklere ord er den posteriore sannsynligheten for H gitt X lik sannsynligheten for å observere X dersom H er sann, multiplisert med den prioriterte sannsynligheten for H, delt på den samlede sannsynligheten for å observere X. Bayes' teorem er grunnleggende innen maskinlæring, statistikk og rasjonell resonnering under usikkerhet.

La oss utvikle intuisjonen med et klassisk eksempel. En sjelden sykdom rammer 1 % av befolkningen. En test er 95 % nøyaktig: Hvis De har sykdommen, gir testen positivt resultat i 95 % av tilfellene; hvis De ikke har den, gir testen negativt resultat i 95 % av tilfellene (5 % andel falske positive). Hvis testen er positiv, hva er sannsynligheten for at De faktisk har sykdommen? De fleste får intuitivt 95 %, men Bayes' teorem viser at svaret er langt lavere – fordi sykdommen er så sjelden, er de fleste positive resultater faktisk falske positive.

De tre viktigste begrepene i Bayes' teorem er: Prior P(H) er antakelsen Deres om H før De ser noen bevis – i det medisinske eksempelet er dette sykdommens forekomst på 1 %. Sannsynlighet P(X|H) er hvor godt beviset X forklares av hypotesen H – her den sanne positive raten på 95 %. Posterior P(H|X) er den oppdaterte antakelsen Deres etter at beviset er tatt med i beregningen. Posteriorsannsynligheten fra én observasjon blir prioren for den neste – Bayes' teorem beskriver en kontinuerlig læringsprosess der antakelser oppdateres etter hvert som bevis samler seg.

I maskinlæringsbasert klassifisering gir Bayes' teorem oss sannsynligheten for hver klasse gitt de observerte egenskapene: P(class | features) ∝ P(features | class) * P(class). Vi predikerer klassen med høyest posteriorsannsynlighet. P(class) estimeres ut fra klassefrekvenser i treningsdataene (prior). P(features | class) estimeres ut fra fordelingen av egenskapene innenfor hver klasse (sannsynlighet). Naive Bayes forenkler beregningen av sannsynligheten ved å anta at egenskapene er uavhengige gitt klassen – en «naiv» antakelse som ofte fungerer overraskende godt i praksis.

Nevneren i Bayes' teorem, P(X), beregnes ofte ved hjelp av loven om total sannsynlighet: P(X) = sum over all classes c of P(X|c) * P(c). Dette sikrer at posteriorsannsynlighetene for alle klasser summerer seg til 1. I det medisinske eksempelet er P(positiv) = P(positiv|sykdom)*P(sykdom) + P(positiv|ingen sykdom)*P(ingen sykdom). I Naive Bayes-klassifisering hopper vi vanligvis over beregningen av P(X) fordi den er den samme for alle klasser – vi sammenligner bare de unormaliserte posteriorene for å finne den mest sannsynlige klassen.

Bayes' teorem kan oversettes direkte til en klassifiseringsalgoritme. Gitt et merket treningssett: Trinn 1: estimer P(class) for hver klasse ut fra klassefrekvensene. Trinn 2: estimer P(feature | class) for hver kombinasjon av egenskap og klasse. Trinn 3: beregn P(class | features) ∝ P(features | class) * P(class) for hver klasse for en ny prøve. Trinn 4: prediker klassen med høyest posterior. Den «naive» tilnærmingen i Naive Bayes forenkler trinn 2: anta at P(features|class) = produktet av P(feature_i | class) for alle egenskaper.

Når mange små sannsynligheter multipliseres med hverandre, underflyter resultatet raskt til 0 i flyttallsaritmetikk – selv om verdien matematisk sett er et svært lite tall som ikke er lik 0. Et dokument med 100 ord, der hvert ord har P(word|class)=0.01, gir for eksempel 0.01^100 = 10^{-200}, som er mindre enn den minste float64-verdien. Beregning i logaritmeringsrom gjør multiplikasjon om til addisjon: log(a*b) = log(a) + log(b). Siden vi sammenligner logaritmiske posteriorer, ikke de faktiske posteriorene, blir argmax-avgjørelsen identisk. Implementasjoner av Naive Bayes arbeider alltid i logaritmeringsrom for å sikre numerisk stabilitet.

Den Bayes-optimale klassifikatoren er den teoretisk best mulige klassifikatoren for en gitt datafordeling. Den predikerer klassen med høyest sann, posterior sannsynlighet P(class|features). Ingen annen klassifikator kan oppnå en lavere forventet feilrate på denne fordelingen. I praksis kan vi ikke bruke den Bayes-optimale klassifikatoren fordi vi ikke kjenner de sanne fordelingene – vi kan bare estimere dem fra et begrenset datagrunnlag. Naive Bayes er en tilnærming til den Bayes-optimale klassifikatoren under antakelsen om uavhengighet. Når denne antakelsen holder, er Naive Bayes den optimale klassifikatoren.

Bayes' teorem er ikke bare en formel fra undervisningen – det driver mange systemer i den virkelige verden. E-postfiltre for søppelpost beregner P(spam | ord) ut fra ordfrekvenser i kjent søppelpost og legitim e-post. Systemer for medisinsk diagnostikk oppdaterer sannsynlighetene for sykdommer etter hvert som testresultater kommer inn. Søkemotorer bruker Bayesiansk rangering til å kombinere relevans for søket med dokumentets popularitet. Autonome kjøretøy bruker Bayesiansk filtrering (Kalman-filter, partikkelfilter) til å spore posisjonen sin basert på støyende sensoravlesninger. A/B-testing i næringslivet bruker i økende grad Bayesianske rammeverk som gir sannsynligheten for å være best, i stedet for p-verdier.

Den «naive» delen av Naive Bayes antar at egenskapene er kondisjonelt uavhengige gitt klassen. For tekstdata betyr dette at hvert ords forekomst antas å være uavhengig av andre ord, gitt klassen. I virkeligheten opptrer ord som «kreditt» og «kort» sammen – de er korrelerte. Empiriske studier viser likevel at Naive Bayes fungerer godt selv når uavhengighetsantakelsen brytes, fordi: (1) rangering for klassifisering bare krever riktig rekkefølge på posteriorene, ikke nøyaktige sannsynligheter; (2) mange egenskaper gjør at uavhengige signaler kombineres godt; (3) enkelheten hindrer overtilpasning på små datasett.

Bayes-faktoren er forholdet mellom likelihood-verdiene for to konkurrerende hypoteser: BF = P(evidence | H1) / P(evidence | H0). I motsetning til p-verdier, som bare forteller om nullhypotesen skal forkastes, kvantifiserer Bayes-faktoren hvor mye evidensen taler for én hypotese fremfor en annen. BF > 10 er sterk evidens for H1, BF < 0.1 er sterk evidens for H0, og verdier mellom 1/3 og 3 er ikke konklusive. Bayes-faktorer brukes stadig mer innen forskning og industri til A/B-testing og hypotes evaluering fordi de naturlig inkorporerer forhåndsinformasjon og gir en tolkbar styrke på evidensen.

I denne leksjonen lærte De at: Bayes' teorem oppdaterer forhåndsoppfatninger med evidens for å gi etterfølgende oppfatninger, om de tre komponentene (prior, likelihood, posterior) og hvordan de samhandler, samt hvorfor lave forhåndssannsynligheter kan dominere selv tester med høy nøyaktighet (som i eksempelet med medisinsk diagnose). Neste gang utforsker vi Bag of Words med CountVectorizer og TfidfVectorizer for å konvertere tekst til tall for Naive Bayes-klassifisering.