collate_fn dla danych o zmiennej długości
Dopełniać i łączyć próbki o nieregularnych rozmiarach
collate_fn dla danych o zmiennej długości to bezpłatna lekcja Deep Learning Academy na CoddyKit. To lekcja 3 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej Deep Learning Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs Deep Learning Academy zawiera 4 lekcji w sumie.
Gdy próbki nie pasują do siebie
Połączenie próbek w partię wymaga, aby każda z nich miała ten sam kształt. Zdania i fragmenty dźwięku mają jednak różne długości, dlatego domyślny krok collate kończy się błędem. 🧩
Działanie collate_fn
DataLoader zbiera listę próbek i przekazuje ją do collate_fn, która łączy je w jedną partię. Domyślnie po prostu układa tensory jeden za drugim.
Niejednorodne dane wejściowe uniemożliwiają łączenie
Próba połączenia sekwencji o długości 5 i 8 powoduje w PyTorch błąd kształtu. Różne długości typu ragged to właśnie przypadek, który musi obsłużyć niestandardowa funkcja collate.
Napisz własne collate_fn
Przekazujesz funkcję do argumentu collate_fn obiektu DataLoader. Otrzymuje ona listę próbek i zwraca partię o takim kształcie, jakiego oczekuje model.
loader = DataLoader(ds, batch_size=4, collate_fn=my_collate)Krok pierwszy: podziel listę
Wewnątrz funkcji rozdziel listę par na osobne sekwencje i etykiety. Możesz teraz przetwarzać każdą grupę oddzielnie, zanim je połączysz.
def my_collate(batch):
seqs, labels = zip(*batch)Wyrównaj do najdłuższej sekwencji
Rozwiązaniem problemu różnych długości jest padding: wydłuż każdą sekwencję do długości najdłuższej, używając wartości wypełniającej, aby wszystkie miały ten sam kształt.
pad_sequence zrobi to za Ciebie
PyTorch udostępnia funkcję pad_sequence, która wyrównuje listę tensorów do tej samej długości i łączy je. Ustaw batch_first, aby wymiar partii znajdował się na pierwszym miejscu.
from torch.nn.utils.rnn import pad_sequence
padded = pad_sequence(seqs, batch_first=True)Pamiętaj o rzeczywistych długościach
Wypełnianie dodaje sztuczne tokeny, dlatego zwracaj również rzeczywistą długość każdej sekwencji. Model wykorzysta te informacje, aby podczas przejścia w przód ignorować wypełnione pozycje.
lengths = torch.tensor([len(s) for s in seqs])Połącz etykiety
Etykiety zwykle mają stały rozmiar, więc można je normalnie łączyć. Zwracaj razem wypełnione dane wejściowe, długości oraz połączone etykiety.
labels = torch.stack(labels)
return padded, lengths, labelsZamaskuj wypełnienie
Później utworzysz maskę na podstawie długości, aby funkcja straty i mechanizm attention pomijały wypełnione pozycje. Wypełnianie wyrównuje kształty, nie zanieczyszczając gradientów.
Jedna funkcja, dowolny kształt
Dzięki niestandardowej funkcji collate_fn ten sam DataLoader obsługuje tekst, dźwięk i grafy. Samodzielnie kontrolujesz sposób przekształcania niezależnych próbek w jedną uporządkowaną partię.
Szybkie sprawdzenie
Dlaczego sekwencje o zmiennej długości wymagają niestandardowej funkcji collate_fn?
Podsumowanie
Niestandardowa funkcja collate_fn przekształca listę próbek o różnych rozmiarach w jedną partię, zwykle przez wyrównanie sekwencji do tej samej długości i zachowanie ich rzeczywistych rozmiarów. 🎉
Ucz się Python dzięki korepetycjom AI — za darmo
Pisz i uruchamiaj kod w przeglądarce, otrzymuj natychmiastową pomoc od korepetytora AI dostępnego 24/7 i kontynuuj naukę w sieci lub w aplikacji.
- Kursy
- 30
- Lekcje
- 120
Często zadawane pytania
Czy lekcja „collate_fn dla danych o zmiennej długości” jest bezpłatna?
Tak — pełny tekst „collate_fn dla danych o zmiennej długości” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu Deep Learning Academy, przejdź na CoddyKit PRO. Kurs Deep Learning Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „collate_fn dla danych o zmiennej długości”?
Dopełniać i łączyć próbki o nieregularnych rozmiarach Ćwiczysz Deep Learning Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć Deep Learning Academy?
Nie wymagamy żadnego doświadczenia. Deep Learning Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 3 z 4.
Ile czasu zajmuje lekcja „collate_fn dla danych o zmiennej długości”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji Deep Learning Academy?
Tak. Każda lekcja Deep Learning Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Napisać własną klasę Dataset
- Batchowanie, tasowanie i num_workers
- collate_fn dla danych o zmiennej długości
- Normalizowanie i standaryzowanie danych wejściowych