Finjustera BertForSequenceClassification

Finjustering tar en förtränad modell som redan förstår språkets struktur och anpassar den till en specifik uppgift med en liten märkt datamängd. BERT, som har förtränats på 3,3 miljarder ord, kan redan grammatik, semantik och kunskap om omvärlden. Finjusteringen lägger till ett uppgiftsspecifikt huvud (till exempel ett klassificeringslager) och tränar hela modellen från början till slut på Era märkta data under några epoker. Resultatet blir toppmodern prestanda med betydligt mindre data och beräkningskraft än vid träning från grunden.

BertForSequenceClassification är en BERT-modell med ett linjärt klassificeringshuvud ovanpå det slutliga dolda tillståndet för [CLS]-token. Det är standardklassen i Hugging Face för sentimentanalys, ämnesklassificering och alla uppgifter där en enda etikett tilldelas en hel text. Huvudet initieras slumpmässigt och tränas tillsammans med BERT-basen under finjusteringen.

IMDB-datasetet innehåller 50 000 filmrecensioner märkta som positiva (1) eller negativa (0). Vi använder Hugging Face-biblioteket datasets för att hämta och dela upp det. Datasetobjektet fungerar som en ordlista med listor och kan mappas med en tokeniseringsfunktion. Vi använder uppdelningen 25 000 för träning och 25 000 för test som tillhandahålls av det ursprungliga datasetets upphovspersoner.

Efter tokeniseringen paketerar Ni Hugging Face-datasetet i PyTorch-objekt av typen DataLoader. batch_size styr hur många exempel modellen bearbetar per framåtpassering; 16 eller 32 är vanligt för BERT med tanke på GPU-minnets begränsningar. Blanda träningsmängden vid varje epok så att modellen inte överanpassar sig till exempelordningen, men håll valideringsmängden oförändrad för reproducerbar utvärdering.

Finjustering av BERT använder optimeraren AdamW med en låg inlärningshastighet (vanligtvis 2e-5 till 5e-5). En hög inlärningshastighet förstör de förtränade representationerna (katastrofalt glömskefenomen). Viktförlust (L2-regularisering) tillämpas på parametrar som inte är bias för att minska överanpassning. Hugging Faces get_linear_schedule_with_warmup används ofta för att värma upp LR under de första 10 % av stegen och sedan minska den linjärt.

PyTorch-träningsslingan för att finjustera BERT följer standardmönstret: iterera över batcher, beräkna framåtpasseringen, hämta förlusten från modellens utdata (BertForSequenceClassification returnerar automatiskt förlusten när etiketter skickas med), anropa loss.backward(), klipp gradienterna för att förhindra att de exploderar och uppdatera optimeraren och schemaläggaren. Att träna BERT i 2 epoker på IMDB ger vanligtvis cirka 92 % träffsäkerhet.

Under utvärderingen anropar ni model.eval() för att inaktivera dropout och använder torch.no_grad() för att hoppa över gradientberäkningen, vilket sparar minne och gör inferensen snabbare. Hämta logits från modellens utdata (råa poäng före softmax), använd argmax för att få de förutsagda klassindexen och jämför dem med de korrekta etiketterna för att beräkna träffsäkerheten.

Efter finjusteringen sparar ni modellen och tokeniseraren tillsammans, så att de kan läsas in för inferens utan att behöva tränas om. model.save_pretrained(path) sparar modellvikterna och konfigurationen, medan tokenizer.save_pretrained(path) sparar vokabulären och inställningarna för tokenisering. Läs in dem igen med from_pretrained(path) i valfri ny Python-session.

Hugging Faces klass Trainer kapslar in träningsslingan, utvärderingen, kontrollpunktssparandet och loggningen i ett enda högnivå-API. Definiera ett TrainingArguments-objekt med inlärningshastighet, batchstorlek och antal epoker och anropa sedan trainer.train(). Trainer hanterar automatiskt gradientklippning, schemaläggning av LR och träning med blandad precision, vilket minskar mängden standardkod avsevärt.

Skicka report_to='tensorboard' i TrainingArguments för att automatiskt logga förlust och mätvärden till TensorBoard. Starta TensorBoard med tensorboard --logdir ./bert_trainer/runs i en terminal för att visa förlustkurvor i realtid, scheman för inlärningshastigheten och utvärderingsmätvärden. Genom att övervaka träningsförlusten jämfört med valideringsförlusten kan ni upptäcka överanpassning tidigt och avsluta träningen vid rätt epok.

Ibland är datamängden för liten för att finjustera alla BERT:s 12 lager utan överanpassning. En vanlig strategi är att frysa de undre lagren (som lär sig allmänna språkliga egenskaper) och endast uppdatera de övre lagren (som lär sig uppgiftsspecifika egenskaper). Frys lager genom att ange requires_grad=False för valda parametergrupper. Övervaka valideringens träffsäkerhet för att välja det optimala frysdjupet utifrån datamängdens storlek.

I den här lektionen har ni lärt er att BertForSequenceClassification lägger till ett linjärt huvud på [CLS] för klassificeringsuppgifter, att finjustering använder AdamW med en mycket låg inlärningshastighet för att undvika katastrofalt glömskefenomen och att Hugging Face Trainer-API:t förenklar träningsslingan med inbyggd utvärdering och kontrollpunktssparande. Härnäst tittar vi på hur man hämtar förutsägelser från logits och utvärderar den finjusterade modellen med träffsäkerhet och F1.