Rettferdighetsmål: demografisk paritet og like muligheter

Maskinlæringsmodeller som trenes på historiske data, kan videreføre og forsterke eksisterende samfunnsmessige skjevheter. En modell for lånegodkjenning som er trent på tidligere godkjenninger, kan systematisk avslå kreditt for beskyttede grupper, ikke på grunn av kredittverdigheten deres, men på grunn av diskriminerende historiske mønstre i treningsdataene. Rettferdighetsmål kvantifiserer i hvilken grad en modell behandler ulike demografiske grupper forskjellig, slik at revisorer og utviklere kan oppdage og korrigere diskriminerende atferd.

Et beskyttet attributt er en demografisk egenskap som ikke bør påvirke beslutninger med store konsekvenser – vanligvis etnisitet, kjønn, alder, religion eller funksjonsnedsettelse. En beskyttet gruppe er delmengden av eksempler som deler en verdi for dette attributtet (for eksempel kvinnelige søkere). Rettferdighetsanalyse sammenligner modellens resultater på tvers av disse gruppene. Selv om det beskyttede attributtet fjernes fra egenskapssettet, kan proxy-egenskaper (for eksempel postnummer) fortsatt kode det inn.

Demografisk paritet (også kalt statistisk paritet) krever at andelen positive prediksjoner er lik i alle demografiske grupper. Hvis en modell godkjenner 70 % av mannlige søkere, men bare 55 % av kvinnelige søkere, er demografisk paritet brutt. Forskjellen i demografisk paritet er det absolutte avviket mellom gruppenes rater for positive prediksjoner. En verdi på null betyr perfekt paritet.

Like muligheter krever at andelen sanne positive (recall) er lik på tvers av grupper – med andre ord skal kvalifiserte søkere fra alle grupper ha samme sannsynlighet for å bli godkjent. I motsetning til demografisk paritet tar like muligheter hensyn til den sanne etiketten, og krever derfor ikke at ukvalifiserte søkere godkjennes for å oppnå paritet. Kriteriet retter seg spesifikt mot feilen å overse kvalifiserte medlemmer av en beskyttet gruppe.

Equalized odds er et strengere kriterium som krever at både andelen sanne positive OG andelen falske positive er lik på tvers av grupper. Dette hindrer modellen i samtidig å godkjenne for få kvalifiserte søkere fra minoritetsgrupper (lav TPR) og godkjenne for mange ukvalifiserte søkere fra majoritetsgrupper (høy FPR). Dette er det standardiserte rettferdighetskriteriet som brukes i juridiske sammenhenger, for eksempel i den amerikanske loven US Equal Credit Opportunity Act.

Det å oppfylle krav til rettferdighet går ofte på bekostning av den samlede nøyaktigheten eller fortjenesten. Dette kalles avveiningen mellom rettferdighet og nøyaktighet. Umulighetsteoremer (Chouldechova 2017, Kleinberg 2016) viser at demografisk paritet, like muligheter og kalibrering ikke kan oppfylles samtidig når grunnratene er forskjellige mellom grupper. Valget av hvilket rettferdighetskriterium som skal optimaliseres, er derfor en verdibasert vurdering som må involvere domeneeksperter og berørte lokalsamfunn, ikke bare dataforskere.

Microsofts fairlearn-bibliotek tilbyr rettferdighetsmål og algoritmer for begrensning av skjevhet gjennom et scikit-learn-kompatibelt API. Bruk MetricFrame til å beregne et vilkårlig mål fordelt på grupper i ett kall. Da synliggjøres forskjeller på tvers av hele målesettet uten manuell indeksering. Installer med pip install fairlearn.

Kalibrering krever at blant alle søkere som får en predikert sannsynlighet på X %, skal omtrent X % faktisk tilhøre den positive klassen – og dette må gjelde separat innenfor hver demografiske gruppe. Dårlig kalibrering for en gruppe betyr at modellen systematisk er for sikker eller for usikker på vegne av en beskyttet gruppe, noe som forvrenger risikobaserte beslutninger som kredittscoring. Bruk reliabilitetsdiagrammer eller sklearn.calibration.calibration_curve for hver gruppe for å kontrollere dette.

Interseksjonell rettferdighet vurderer kombinasjoner av beskyttede egenskaper samtidig. En modell kan oppnå demografisk paritet for kjønn og etnisitet hver for seg, men likevel diskriminere mot svarte kvinner som undergruppe. fairlearn MetricFrame håndterer dette automatisk når De oppgir flere sensitive kolonner som en DataFrame, og beregner mål for hver kombinasjon av (kjønn × etnisitet).

Ulike bruksområder krever ulike rettferdighetskriterier. For prediksjon av tilbakefall i kriminalitet er like muligheter avgjørende – tilbakekallingen må være lik blant dem som ikke begår nye lovbrudd. For verktøy for rekruttering hindrer demografisk paritet systematisk underrepresentasjon. For medisinsk screening sikrer equalized odds at ingen grupper blir oversett i uforholdsmessig stor grad. Å dokumentere hvilket kriterium som ble valgt, og hvorfor, er en viktig del av ansvarlig AI-praksis og model cards.

Rettferdighetsmål måler statistiske forskjeller, ikke de underliggende årsakene. En modell kan oppfylle demografisk paritet og likevel ta individuelle beslutninger basert på beskyttede egenskaper gjennom korrelerte stedfortredere. I tillegg antar alle disse målene binære sensitive egenskaper og binære utfall, mens rettferdighet i den virkelige verden er mer kompleks. Målene bør suppleres med kvalitative metoder: involvering av lokalsamfunn, prosessrevisjoner og konsekvensutredninger før utrulling.

I denne leksjonen lærte De at: demografisk paritet krever like andeler positive prediksjoner på tvers av grupper, like muligheter krever lik tilbakekalling (andeler sanne positive), og equalized odds krever i tillegg like andeler falske positive. De så også at disse kriteriene ikke kan oppfylles samtidig når grunnratene er forskjellige, og at biblioteket fairlearn gjør det enkelt å beregne mål på gruppenivå. Neste gang ser vi på konkrete strategier for å redusere skjevheten som disse målene avdekker.