Impacchettare le sequenze e gestire il padding

Per elaborare più sequenze contemporaneamente, un batch deve essere un rettangolo ordinato. Tuttavia, le frasi reali hanno lunghezze diverse e quindi non si allineano.

La soluzione è il padding: aggiungere token di riempimento, solitamente zeri, alle sequenze più brevi, così ogni riga del batch ha la stessa lunghezza.

pad_sequence di PyTorch impila un elenco di tensori di lunghezza variabile in un unico batch con padding, con una sola chiamata.

Quei token di riempimento sono fittizi. Se la RNN li elabora comunque, spreca risorse di calcolo e può lasciare che il padding contamini lo stato nascosto.

Prima del padding, registri la lunghezza effettiva di ogni sequenza. Fornirà queste lunghezze a PyTorch, che saprà così dove terminano i dati reali.

pack_padded_sequence trasforma il batch con padding e le relative lunghezze in un formato compatto che la RNN può eseguire senza toccare il padding.

Fornisca l'oggetto impacchettato direttamente a nn.LSTM o nn.GRU. La cella salta i passaggi con padding, mantenendo la memoria pulita e corretta.

Per leggere di nuovo gli output di ogni passaggio, chiami pad_packed_sequence e ripristini la forma rettangolare con padding al termine dell'esecuzione della RNN.

L'impacchettamento classico richiede che le sequenze siano ordinate dalla più lunga alla più breve. Imposti enforce_sorted su False e PyTorch gestirà per Lei i batch non ordinati.

Anche usando l'impacchettamento, ignori le posizioni con padding durante la valutazione. Una mask o ignore_index impedisce ai token fittizi di influire sulla loss.

Esegua il padding all'interno di un collate_fn personalizzato, così ogni batch arriverà già sottoposto a padding, con le lunghezze pronte per l'impacchettamento.

Applichi il padding per allineare un batch, tenga traccia delle lunghezze reali, poi lo impacchetti affinché la RNN ignori il riempimento. Mascheri anche i token con padding nella loss. ✅