Domänanpassning: Medicinsk bildanalys med få etiketter

Medicinsk bildanalys innebär unika utmaningar för transfer learning. Till skillnad från naturliga fotografier liknar lungröntgenbilder, MR-bilder och histologiska preparat inte alls bilderna i ImageNet: de är gråskalebilder eller har domänspecifika färgmönster, de viktiga egenskaperna (lesioner, noduli och förkalkningar) är subtila och domänspecifika, och märkning av data kräver expertradiologer – vilket gör stora märkta datamängder dyra och sällsynta.

Trots dessa utmaningar överträffar ImageNet-förtränade modeller konsekvent modeller som tränats från grunden i uppgifter inom medicinsk bildanalys, även när det visuella utseendet skiljer sig avsevärt. Universella lågnivåegenskaper (kantdetektorer och texturfilter) kan överföras mellan domäner och ger en stark initialisering som påskyndar konvergensen och förbättrar generaliseringen när antalet etiketter är begränsat.

CheXpert är en benchmark-datamängd med lungröntgenbilder som innehåller 224 316 bilder och 14 etiketter (Cardiomegaly, Pleural Effusion, Pneumonia, Atelectasis med flera). I vårt scenario med få etiketter simulerar vi användning av endast en liten andel – säg 1 % (cirka 2 243 bilder) – för att efterlikna kliniska miljöer där budgeten för annotering är begränsad.

Detta är ett problem med klassificering med flera etiketter: varje bild kan samtidigt ha flera patologier, till skillnad från klassificering med en enda etikett. Målet är en vektor med 14 binära värden, och vi använder Binary Cross-Entropy with Logits (BCE) elementvis. Utvärderingen använder AUC-ROC per patologi, med medelvärde över alla 14 etiketter.

De flesta medicinska bilder (röntgenbilder och CT-bilder) är gråskalebilder (1 kanal), men ImageNet-förtränade modeller förväntar sig indata i RGB med 3 kanaler. Den enklaste lösningen är Image.convert('RGB'), som kopierar den enda kanalen tre gånger, eller transforms.Grayscale(num_output_channels=3) i transformationspipeline.

Detta är något ineffektivt – de tre kanalerna är identiska – men i praktiken fungerar det bra eftersom modellen helt enkelt lär sig att vikta alla tre kanaler lika. Ett alternativ är att ersätta det första konvolutionella lagret med ett nytt Conv2d(1, 64, kernel_size=7, ...) och initiera det genom att beräkna medelvärdet av vikterna för de tre indatakanalerna. Detta är mer principiellt korrekt men ökar träningens komplexitet.

Vid klassificering med flera etiketter är varje etikett en oberoende binär prediktion. Vi använder nn.BCEWithLogitsLoss() på en vektor med 14 logits. Förlusten beräknas elementvis och medelvärdesbildas över både de 14 klasserna och batchstorleken.

Obalanserade etiketter är en stor utmaning inom medicinsk bildanalys: endast 5–10 % av bilderna visar Pneumonia eller Consolidation, medan 40–60 % visar Pleural Effusion. Skicka pos_weight till BCEWithLogitsLoss för att vikta upp den sällsynta positiva klassen: ett pos_weight på 10 gör att modellen lägger 10× mer vikt vid positiva exempel på den patologin.

Ersätt klassificeringshuvudet i ResNet-50 med ett linjärt lager som ger 14 logits (en per patologi), i stället för standardvärdet 1000 för ImageNet. Vi använder inte sigmoid i forward-passet – BCEWithLogitsLoss tillämpar det internt för numerisk stabilitet. Vid inferens tillämpar ni sigmoid manuellt för att få fram sannolikheter.

Att lägga till ett dropout-lager före det slutliga linjära lagret är särskilt viktigt när datamängden är liten, eftersom regularisering hindrar det lilla huvudet från att överanpassa. En dropout-sannolikhet på 0,3–0,5 är vanlig vid finjustering för medicinsk bildanalys.

Noggrannhet är oanvändbart för obalanserade medicinska datamängder. Om endast 5 % av patienterna har Pneumonia uppnår en modell som alltid förutsäger ”ingen pneumoni” 95 % noggrannhet, samtidigt som den är helt oanvändbar kliniskt. AUC-ROC (Area Under the ROC Curve) mäter förmågan att skilja mellan klasser över alla tröskelvärden.

Vi beräknar AUC-ROC separat för var och en av de 14 patologierna och rapporterar genomsnittlig AUC över alla etiketter. AUC på 0,5 motsvarar slumpen, 0,7 är acceptabelt, 0,85 eller högre motsvarar klinisk nivå och 0,9 eller högre närmar sig ofta radiologprestanda. roc_auc_score i scikit-learn beräknar detta effektivt.

När ni endast har hundratals eller några tusen märkta medicinska bilder finns det flera tekniker som hjälper er att utnyttja de tillgängliga data maximalt. Kraftig dataaugmentering är viktigast: slumpmässiga vändningar, rotationer samt variationer i kontrast och ljusstyrka hjälper, samtidigt som augmenteringarna måste vara kliniskt rimliga (en lungröntgenbild bör inte vändas vertikalt – det skulle aldrig förekomma i klinisk praxis).

Progressiv skalning (att först träna med lägre upplösning och sedan öka den) är en annan effektiv teknik. Börja med 128×128 för att snabbt kunna iterera och finjustera sedan med 224×224 eller till och med 320×320 för slutlig noggrannhet. Detta går mycket snabbare än att alltid träna med full upplösning och ger ofta samma noggrannhet.

När ImageNet-egenskaper inte överförs tillräckligt väl är självövervakad förträning på omärkta medicinska bilder ett kraftfullt alternativ. Metoder som SimCLR, MoCo och DINO lär sig representationer genom att träna modellen att känna igen att två augmenterade versioner av samma bild liknar varandra, utan att några etiketter behövs.

Arbetsflödet är följande: (1) förträna på stora omärkta medicinska datamängder (CheXpert har 224 000 omärkta bilder), (2) finjustera med den lilla mängden märkta data. Detta överträffar konsekvent ImageNet-transfer i medicinska uppgifter, eftersom modellen lär sig egenskaper som är specifika för den medicinska domänen i stället för egenskaper för allmän objektigenkänning.

Inom medicinskt beslutsstöd är det lika viktigt att veta hur säker en modell är som att känna till själva prediktionen. En modell som säger ”Pneumonia: 95 % sannolikhet” bör vara mer tillförlitlig än en som säger ”52 % sannolikhet”. Standardiserade softmax-sannolikheter är ofta överdrivet säkra och representerar inte den verkliga osäkerheten.

Monte Carlo Dropout (MC Dropout) approximerar bayesiansk osäkerhet genom att behålla dropout aktiverat vid inferens och köra forward-passet flera gånger. Variansen i prediktionerna mellan körningarna skattar osäkerheten. Prediktioner med hög varians bör flaggas för mänsklig granskning i stället för att hanteras automatiskt.

Att införa ML-modeller i medicinska miljöer innebär ett stort etiskt ansvar. Partiskhet i datamängden är en kritisk fråga: modeller som huvudsakligen tränats på bilder från en viss sjukhuskedjas skannrar, patientgrupper eller skannertillverkare kan misslyckas på bilder från andra miljöer – ett välkänt problem inom radiologisk AI.

Före driftsättning ska ni alltid utvärdera modellens prestanda för olika demografiska undergrupper (ålder, kön och etnicitet) samt med olika typer av skanningsutrustning. Regelverk som FDA:s riktlinjer för AI/ML-baserad Software as a Medical Device (SaMD) i USA och EU:s förordning om medicintekniska produkter (MDR) kräver noggrann klinisk validering före driftsättning. Modeller bör stödja radiologer, inte ersätta dem – särskilt vid allvarliga patologier där fel kan få livsavgörande konsekvenser.

I den här lektionen har ni lärt er följande: transfer learning för medicinsk bildanalys tillämpar ImageNet-förtränade modeller på domäner med gråskalebilder och få etiketter genom att konvertera kanaler och ersätta klassificeringshuvudet, BCE-förlust med flera etiketter och pos_weight hanterar den extrema klassobalans som är typisk för datamängder med patologier, och AUC-ROC är det korrekta utvärderingsmåttet eftersom det mäter förmågan att skilja mellan klasser oberoende av klassbalansen. När ni nu behärskar dessa färdigheter inom transfer learning är ni redo att utforska NLP med BERT i nästa kurs.