Pak sekvenser, og håndtér padding

For at behandle mange sekvenser på én gang skal et batch være et pænt rektangel. Men virkelige sætninger har forskellige længder, så de passer ikke sammen.

Løsningen er udfyldning: Tilføj udfyldningstokens, normalt nuller, til korte sekvenser, så hver række i batchen har samme længde.

PyTorch's pad_sequence samler en liste med tensorer af variabel længde i ét udfyldt batch med ét enkelt kald.

Disse udfyldningstokens er kunstige. Hvis RNN'et alligevel behandler dem, spilder det beregningskraft, og udfyldningen kan forurene den skjulte tilstand.

Registrer hver sekvens' faktiske længde, før du udfylder dem. Du giver disse længder videre til PyTorch, så det ved, hvor de rigtige data slutter.

pack_padded_sequence omdanner det udfyldte batch og længderne til et kompakt format, som RNN'et kan køre uden at berøre udfyldningen.

Send det pakkede objekt direkte ind i nn.LSTM eller nn.GRU. Cellen springer udfyldte trin over, så hukommelsen forbliver ren og tydelig.

Hvis du vil læse uddata for hvert trin igen, skal du kalde pad_packed_sequence for at gendanne den rektangulære, udfyldte form, efter at RNN'et er færdigt.

Klassisk pakning kræver, at sekvenserne er sorteret med den længste først. Sæt enforce_sorted til False, så håndterer PyTorch batcher i vilkårlig rækkefølge for dig.

Selv med pakning skal du ignorere udfyldte positioner ved evalueringen. En maske eller ignore_index holder kunstige tokens ude af fejlen.

Udfør udfyldningen i en tilpasset collate_fn, så hvert batch allerede ankommer udfyldt med længder klar til pakning.

Udfyld for at justere et batch, hold styr på de rigtige længder, og pak derefter, så RNN'et ignorerer udfyldningen. Maskér også udfyldte tokens i fejlen. ✅