Sekvens-til-én: Sentimentanalyse med en LSTM

I sekvens-til-én-opgaver læser modellen en hel sekvens og producerer én enkelt outputetiket. Sentimentanalyse er det klassiske eksempel: Givet en hel filmanmeldelse ('I loved every minute of this film') skal modellen forudsige én enkelt etiket — positiv eller negativ.

Dette står i kontrast til sekvens-til-sekvens (oversættelse, hvor hvert inputtoken producerer et outputtoken) og én-til-sekvens (billedtekstning). I sekvens-til-én kasserer vi LSTM-outputtene fra de mellemliggende tids­trin og bruger kun den sidste skjulte tilstand h_T, som teoretisk koder betydningen af hele inputsekvensen.

IMDB-datasættet indeholder 50.000 filmanmeldelser (25.000 til træning og 25.000 til test), der er mærket som positive eller negative. Hver anmeldelse er en tekststreng med variabel længde. Før vi sender den til en LSTM, skal vi udføre tre forbehandlingstrin: tokenisering (opdele teksten i ord), opbygning af ordforråd (knytte ord til heltalsindekser) og udfyldning (gøre alle sekvenser lige lange).

Vi skal også håndtere anmeldelser, der er meget lange — LSTM-træning bliver langsommere kvadratisk med sekvenslængden, så det er almindelig praksis at afkorte til 256 eller 512 tokens uden væsentligt at forringe nøjagtigheden.

Udfyldning er nødvendig, fordi PyTorch DataLoaders kræver tensorer med samme form i en batch. Vi udfylder kortere sekvenser med et særligt <pad>-token (normalt indeks 0) og afkorter længere sekvenser til en maksimal længde.

Den afgørende pointe er, at LSTM'en skal ignorere udfyldningstokens. PyTorch's hjælpefunktioner pack_padded_sequence og pad_packed_sequence gør det muligt effektivt at springe udfyldningen over under LSTM-beregningen, hvilket er vigtigt for korrektheden — ellers opdaterer modellen sin skjulte tilstand ud fra meningsløs udfyldning, så den endelige h_T forvrides.

Heltalsindekser for ord kan ikke sendes direkte ind i en LSTM — vi skal konvertere dem til kontinuerte vektorer. Et embeddinglag nn.Embedding(vocab_size, embedding_dim) er en opslagstabel, der knytter hvert ordindeks til en tæt vektor af kommatal.

Almindelige embeddingdimensioner er 100, 200 eller 300. Embeddings er parametre, der kan læres, og som opdateres under træningen sammen med LSTM-vægtene. Alternativt kan du initialisere dem fra fortrænede ordvektorer som GloVe eller Word2Vec. Det kan gøre træningen på små datasæt markant hurtigere ved at levere allerede indlærte semantiske relationer mellem ord.

Den komplette modelarkitektur består af tre dele: et embeddinglag, en LSTM og et fuldt forbundet hoved. Embeddinglaget konverterer tokenindekser til vektorer, LSTM'en behandler sekvensen, og det lineære lag knytter den sidste skjulte tilstand til én enkelt logit.

Vi tilføjer dropout efter embeddinglaget og før det lineære lag for at regularisere modellen. For outputtet anvender vi en sigmoid for at få en sandsynlighed mellem 0 og 1. Træningen bruger Binary Cross-Entropy-tab, da dette er binær klassifikation.

Til binær klassifikation bruger vi nn.BCEWithLogitsLoss, som kombinerer sigmoid-aktivering og binært krydsentropitab i én numerisk stabil operation. Det foretrækkes frem for at anvende sigmoid manuelt efterfulgt af nn.BCELoss.

Vi bruger Adam-optimeringsalgoritmen med en læringsrate på 1e-3. Adam tilpasser læringsraten for hver parameter, hvilket gør den velegnet til sparsomme gradienter, der opstår fra embeddings (kun embeddings for ord, der optræder i batchen, modtager gradientopdateringer). Brug gradientklipning med torch.nn.utils.clip_grad_norm_ for at forhindre eksploderende gradienter, som er et almindeligt problem ved træning af RNN'er.

Træningsløkken til sekvens-til-én-klassifikation følger PyTorch's standardmønster: fremadrettet gennemløb, beregning af tab, backpropagering, klipning af gradienter og opdatering af parametre. Vi beregner også nøjagtighed ved at sammenligne den forudsagte klasse (sigmoid-output > 0.5) med de korrekte etiketter.

En vigtig overvejelse er at flytte både modellen og batchens tensorer til den samme enhed (CPU eller GPU). Brug af model.to(device) og tensor.to(device) sikrer ensartede beregninger. På en GPU tager træning af en LSTM med to lag på IMDB typisk 2-5 minutter pr. epoke.

Under evalueringen kalder vi model.eval() og indlejrer fremadrettede gennemløb i torch.no_grad() for at deaktivere dropout og gradientsporing. Det giver os et uvildigt billede af modellens generaliseringsevne.

Vi følger fire tal på tværs af epoker: træningstab, valideringstab, træningsnøjagtighed og valideringsnøjagtighed. Hvis træningsnøjagtigheden stiger, mens valideringsnøjagtigheden går i stå, overtilpasser modellen — øg dropout, eller gør modellen mindre. Hvis begge er lave, undertilpasser modellen — tilføj LSTM-lag, eller øg den skjulte størrelse.

En velindstillet LSTM-sentimentklassifikator på IMDB opnår typisk en testnøjagtighed på 85-90 %. Almindelige fejl, der forringer ydeevnen, omfatter: ikke at indstille model.eval() under evalueringen (dropout forbliver aktiv), ikke at nulstille gradienterne før backpropagering og at træne i for få epoker, før embeddings konvergerer.

En anden faldgrube er at bruge det samme ordforrådsindeks til ukendte ord og udfyldning. Brug separate tokens for <unk> (indeks 0) og <pad> (indeks 1), og angiv padding_idx=1 i embeddinglaget, så pad-embeddings altid er nul, og deres gradienter undertrykkes under træningen.

For at klassificere nye anmeldelser på inference-tidspunktet anvender vi det samme forbehandlingsforløb som under træningen: tokenisering, konvertering til indekser, afkortning og tilføjelse af en batchdimension. Modellen returnerer en logit; når sigmoid anvendes, konverteres den til en sandsynlighed.

En forudsigelsesscore over 0,5 angiver en positiv sentiment. Du kan justere denne tærskel: hvis du sænker den til 0,3, øges genkaldelsen for positive anmeldelser på bekostning af præcisionen. Anvend altid model.eval() og torch.no_grad() under inference for at deaktivere dropout og undgå unødvendig gradientberegning.

Selvom LSTM'er var state of the art inden for NLP indtil omkring 2018, dominerer transformerbaserede modeller som BERT nu de fleste NLP-benchmarks. BERT opnår omkring 93–95 % på IMDB sammenlignet med LSTM'ers omkring 87–90 %.

LSTM'er er dog stadig relevante af flere grunde: De er langt mere beregningseffektive til meget lange sekvenser (transformere skalerer kvadratisk med sekvenslængden), de fungerer godt på tidsseriedata, hvor den sekventielle natur er iboende, og de har et betydeligt mindre hukommelsesforbrug. En forståelse af LSTM'er giver også det konceptuelle fundament, der er nødvendigt for at forstå, hvordan opmærksomhedsmekanismer forbedrer dem.

I denne lektion lærte du, at en sekvens-til-en-arkitektur læser en hel inputsekvens og knytter den til én enkelt etiket ved hjælp af LSTM'ens sidste skjulte tilstand, at et forbehandlingsforløb til tekst kræver tokenisering, opbygning af et ordforråd og padding, før data sendes ind i modellen, og at embedding-lag konverterer diskrete ordindekser til tætte, indlærbare vektorer, der indfanger semantisk betydning. Dernæst udforsker vi transfer learning, hvor forudtrænede modelvægte erstatter træning fra bunden.