Wewnątrz bloku Transformera
Jak cała architektura łączy się w całość
Wewnątrz bloku Transformera to bezpłatna lekcja NLP Academy na CoddyKit. To lekcja 4 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej NLP Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs NLP Academy zawiera 4 lekcji w sumie.
Układanie bloków
Transformer powstaje przez wielokrotne ułożenie tego samego bloku. Każdy blok nieco bardziej udoskonala reprezentację. 🧱
Dwie główne podwarstwy
Każdy blok ma dwie części: podwarstwę multi-head attention, a po niej niewielką sieć feed-forward stosowaną do każdej pozycji.
Sieć feed-forward
Podwarstwa feed-forward składa się z dwóch warstw liniowych z funkcją nieliniową pomiędzy nimi. Przetwarza każdy token niezależnie, zwiększając możliwości modelu.
h = relu(x @ W1 + b1) @ W2 + b2Połączenia rezydualne
Każda podwarstwa opakowuje swoje wejście w połączenie rezydualne: dodaje wejście z powrotem do wyjścia, aby gradienty mogły przepływać i aby nic nie zostało utracone.
out = x + sublayer(x)Normalizacja warstwy
Po dodaniu połączenia rezydualnego normalizacja warstwy przeskalowuje wartości. Stabilizuje to aktywacje i przyspiesza trenowanie.
out = layer_norm(x + sublayer(x))Bloki enkodera
Stos enkodera odczytuje dane wejściowe i tworzy bogate wektory kontekstu. Korzysta z self-attention, dzięki czemu każdy token widzi wszystkie pozostałe.
Bloki dekodera
Dekoder generuje wyjście po jednym tokenie naraz. Dodaje maskowane attention oraz cross-attention do enkodera.
Maskowane attention
Podczas generowania maskowanie ukrywa przyszłe tokeny, więc dekoder nie może zaglądać naprzód i musi uczciwie przewidzieć następne słowo.
Cross-attention
Cross-attention pozwala dekoderowi odpytywać wyjścia enkodera, łącząc to, co właśnie zapisuje, z tym, co pierwotnie odczytał.
Głębia zwiększa możliwości
Ułożenie wielu bloków pozwala wcześniejszym warstwom wykrywać proste wzorce, a późniejszym budować abstrakcyjne znaczenie, podobnie jak w głębokich sieciach do przetwarzania obrazów.
Enkoder, dekoder czy oba
BERT korzysta wyłącznie z enkodera, GPT wyłącznie z dekodera, a modele tłumaczeniowe z obu. Blok jest wspólną jednostką budulcową. 🚀
Szybkie sprawdzenie
Sprawdźmy strukturę bloku.
Podsumowanie
Złożyli Państwo blok Transformer: attention oraz feed-forward, opakowane w połączenia rezydualne i normalizację warstwy, ułożone w enkodery i dekodery. ✨
Często zadawane pytania
Czy lekcja „Wewnątrz bloku Transformera” jest bezpłatna?
Tak — pełny tekst „Wewnątrz bloku Transformera” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu NLP Academy, przejdź na CoddyKit PRO. Kurs NLP Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „Wewnątrz bloku Transformera”?
Jak cała architektura łączy się w całość Ćwiczysz NLP Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć NLP Academy?
Nie wymagamy żadnego doświadczenia. NLP Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 4 z 4.
Ile czasu zajmuje lekcja „Wewnątrz bloku Transformera”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji NLP Academy?
Tak. Każda lekcja NLP Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Idea mechanizmu attention
- Self-attention krok po kroku
- Multi-head attention i pozycje
- Wewnątrz bloku Transformera