Domenetilpasning: Medisinsk avbildning med få etiketter

Medisinsk bildebehandling byr på unike utfordringer for overføringslæring. I motsetning til naturlige fotografier ligner røntgenbilder av brystkassen, MR-bilder og histologiske snitt ikke på ImageNet-bilder: De er gråtonebilder eller har domenespesifikke fargemønstre, de viktige kjennetegnene (lesjoner, knuter og forkalkninger) er subtile og domenespesifikke, og merkede data krever ekspertradiologer — noe som gjør store merkede datasett dyre og sjeldne.

Til tross for disse utfordringene gir ImageNet-forhåndstrente modeller konsekvent bedre resultater enn trening fra grunnen av på oppgaver innen medisinsk bildebehandling, selv når det visuelle uttrykket er betydelig annerledes. Universelle lavnivåkjennetegn (kantdetektorer og teksturfiltre) kan overføres mellom domener og gir en god initialisering som gjør konvergensen raskere og forbedrer generaliseringen når det finnes få etiketter.

CheXpert er et referansedatasett med røntgenbilder av brystkassen, med 224 316 bilder og 14 etiketter (Cardiomegaly, Pleural Effusion, Pneumonia, Atelectasis osv.). I scenarioet vårt med få etiketter simulerer vi bruk av bare en liten andel — for eksempel 1 % (omtrent 2 243 bilder) — for å etterligne reelle kliniske situasjoner der budsjettet for annotering er begrenset.

Dette er et klassifiseringsproblem med flere etiketter: Hvert bilde kan ha flere patologier samtidig, i motsetning til klassifisering med én etikett. Målet er en vektor med 14 binære verdier, og vi bruker Binary Cross-Entropy with Logits elementvis. Evalueringen bruker AUC-ROC for hver patologi, beregnet som gjennomsnittet av alle de 14 etikettene.

De fleste medisinske bilder (røntgenbilder og CT-bilder) er gråtonebilder (én kanal), mens ImageNet-forhåndstrente modeller forventer RGB-inndata med tre kanaler. Den enkleste løsningen er Image.convert('RGB'), som kopierer den ene kanalen tre ganger, eller transforms.Grayscale(num_output_channels=3) i transformasjonspipelinen.

Dette er litt sløsing — de tre kanalene er identiske — men i praksis fungerer det godt fordi modellen ganske enkelt lærer å vekte alle tre kanalene likt. Et alternativ er å erstatte det første konvolusjonslaget med et nytt Conv2d(1, 64, kernel_size=7, ...) og initialisere det ved å beregne gjennomsnittet av vektene for de tre inngangskanalene. Dette er mer prinsipielt, men gjør treningen mer kompleks.

Ved klassifisering med flere etiketter er hver etikett en uavhengig binær prediksjon. Vi bruker nn.BCEWithLogitsLoss() på en vektor med 14 logitter. Tapet beregnes elementvis og gjennomsnittberegnes over både de 14 klassene og batchstørrelsen.

Ubalanserte etiketter er en stor utfordring innen medisinsk bildebehandling: Bare 5–10 % av bildene har Pneumonia eller Consolidation, mens 40–60 % har Pleural Effusion. Send pos_weight til BCEWithLogitsLoss for å oppvek­te den sjeldne positive klassen: En pos_weight på 10 gjør at modellen legger 10× mer vekt på positive eksempler på den aktuelle patologien.

Erstatt klassifiseringshodet i ResNet-50 med et lineært lag som produserer 14 logitter (én per patologi), i stedet for standardverdien 1000 for ImageNet. Vi bruker ikke sigmoid i forward-passeringen — BCEWithLogitsLoss gjør dette internt for numerisk stabilitet. Ved inferens bruker du sigmoid manuelt for å få sannsynligheter.

Det er spesielt viktig å legge til et dropout-lag før det siste lineære laget når datamengden er liten, fordi regularisering hindrer det lille hodet i å overtilpasse. En dropout-sannsynlighet på 0,3–0,5 er vanlig ved finjustering for medisinsk bildebehandling.

Nøyaktighet er ubrukelig for ubalanserte medisinske datasett. Hvis bare 5 % av pasientene har Pneumonia, oppnår en modell som alltid predikerer «ingen lungebetennelse» 95 % nøyaktighet, samtidig som den er fullstendig ubrukelig klinisk. AUC-ROC (arealet under ROC-kurven) måler evnen til å skille mellom klasser på tvers av alle terskler.

Vi beregner AUC-ROC separat for hver av de 14 patologiene og rapporterer gjennomsnittlig AUC på tvers av alle etikettene. AUC på 0,5 tilsvarer tilfeldig gjetting, 0,7 er akseptabelt, 0,85 eller høyere er på klinisk nivå, og 0,9 eller høyere nærmer seg ofte prestasjonene til radiologer. roc_auc_score i scikit-learn beregner dette effektivt.

Når du bare har noen hundre eller noen få tusen merkede medisinske bilder, kan flere teknikker hjelpe deg med å utnytte de tilgjengelige dataene best mulig. Kraftig dataaugmentering er det viktigste: Tilfeldige speilvendinger, rotasjoner samt variasjon i kontrast og lysstyrke hjelper, samtidig som augmenteringene må være klinisk realistiske (et røntgenbilde av brystkassen bør ikke vendes vertikalt — det ville aldri forekomme i klinisk praksis).

Progressiv endring av oppløsning (først trening med lavere oppløsning, deretter økning) er en annen effektiv teknikk. Start med 128×128 for å iterere raskt, og finjuster deretter med 224×224 eller til og med 320×320 for å oppnå best mulig nøyaktighet. Dette er mye raskere enn å alltid trene med full oppløsning, og gir ofte samme nøyaktighet som trening med full oppløsning.

Når ImageNet-funksjoner ikke overføres godt nok, er selvovervåket forhåndstrening på umerkede medisinske bilder et kraftig alternativ. Metoder som SimCLR, MoCo og DINO lærer representasjoner ved å trene modellen til å kjenne igjen at to augmenterte versjoner av det samme bildet ligner på hverandre, uten bruk av etiketter.

Arbeidsflyten er: (1) forhåndstren på store, umerkede medisinske datasett (CheXpert har 224 000 umerkede bilder), (2) finjuster med det lille merkede datasettet. Dette gir konsekvent bedre resultater enn overføring fra ImageNet på medisinske oppgaver, fordi modellen lærer kjennetegn som er spesifikke for det medisinske domenet, i stedet for kjennetegn for generell objektgjenkjenning.

Ved medisinsk beslutningsstøtte er det like viktig å vite hvor sikker en modell er som selve prediksjonen. En modell som sier «Pneumonia: 95 % sannsynlighet», bør stoles mer på enn en som sier «52 % sannsynlighet». Standard sannsynligheter fra softmax er ofte overdrevent sikre og representerer ikke den faktiske usikkerheten.

Monte Carlo Dropout (MC Dropout) tilnærmer seg bayesiansk usikkerhet ved å holde dropout aktiv under inferens og kjøre forward-passeringen flere ganger. Variansen i prediksjonene på tvers av kjøringene anslår usikkerheten. Prediksjoner med høy varians bør flagges for menneskelig vurdering i stedet for å brukes automatisk.

Distribusjon av ML-modeller i medisinske miljøer medfører et stort etisk ansvar. Skjevheter i datasettet er en kritisk bekymring: Modeller som hovedsakelig er trent på bilder fra én sykehusinstitusjons skannere, pasientgrupper eller skannerprodusenter, kan svikte på bilder fra andre miljøer — et kjent problem innen radiologisk KI.

Før distribusjon må du alltid evaluere modellens ytelse på tvers av demografiske undergrupper (alder, kjønn og etnisitet) og på tvers av forskjellig skanneutstyr. Regelverk som FDAs retningslinjer for AI/ML-basert Software as a Medical Device (SaMD) i USA og EUs Medical Device Regulation (MDR) krever grundig klinisk validering før distribusjon. Modeller bør assistere radiologer, ikke erstatte dem — særlig ved alvorlige patologier der feil kan få livstruende konsekvenser.

I denne leksjonen lærte du at overføringslæring for medisinsk bildebehandling bruker ImageNet-forhåndstrente modeller på domener med gråtonebilder og få etiketter ved å konvertere kanaler og erstatte klassifiseringshodet, at BCE-tap med flere etiketter og pos_weight håndterer den store klasseubalansen som er typisk for datasett med patologier, og at AUC-ROC er den riktige evalueringsmåleenheten fordi den måler evnen til å skille mellom klasser uavhengig av klassebalansen. Når du nå behersker disse ferdighetene innen overføringslæring, er du klar til å utforske NLP med BERT i neste kurs.