Dostęp peer-to-peer do pamięci
Bezpośrednie kopie GPU-do-GPU przez NVLink
Dostęp peer-to-peer do pamięci to bezpłatna lekcja CUDA Academy na CoddyKit. To lekcja 3 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej CUDA Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs CUDA Academy zawiera 4 lekcji w sumie.
Powolna droga okrężna
Przenoszenie danych z jednego GPU do drugiego zwykle odbywa się najpierw przez pamięć CPU. Ta podróż tam i z powrotem jest powolna i marnuje bandwidth hosta.
GPU komunikują się bezpośrednio
Nowoczesne GPU mogą całkowicie pominąć CPU. Dostęp peer-to-peer pozwala jednemu GPU odczytywać i zapisywać pamięć innego przez bezpośrednie połączenie.
Autostrada NVLink
Szybkim połączeniem między kartami jest często NVLink, znacznie szybsze od współdzielonej magistrali PCIe. Gdy jest dostępne, transfery P2P korzystają z tej autostrady.
Sprawdź, zanim zaufasz
Nie każda para GPU obsługuje P2P. Najpierw należy użyć cudaDeviceCanAccessPeer, które informuje, czy jedno urządzenie może uzyskać dostęp do drugiego.
int can;
cudaDeviceCanAccessPeer(&can, 0, 1);Włącz dostęp
Uprawnienie jest domyślnie wyłączone. Gdy bieżącym urządzeniem jest GPU 0, należy wywołać cudaDeviceEnablePeerAccess, aby umożliwić mu dostęp do pamięci GPU 1.
cudaSetDevice(0);
cudaDeviceEnablePeerAccess(1, 0);Dostęp działa jednokierunkowo
Włączenie dostępu między urządzeniami zezwala tylko na wskazany kierunek. Aby GPU 1 mógł odczytywać dane z GPU 0, trzeba włączyć również ten direction z poziomu urządzenia 1.
Kopiowanie peer-to-peer
Aby bezpośrednio przenieść bufor między kartami, należy użyć cudaMemcpyPeer. Podaje się wskaźnik i urządzenie docelowe oraz wskaźnik i urządzenie źródłowe.
cudaMemcpyPeer(dst, 1, src, 0, bytes);Kernele odczytujące dane z innych urządzeń
Po włączeniu dostępu kernel na GPU 0 może wyłuskać wskaźnik znajdujący się na GPU 1. Sprzęt transparentnie pobierze dane przez połączenie peer.
Gdy P2P nie jest dostępne
Jeśli dwie karty nie mogą komunikować się w trybie peer, środowisko uruchomieniowe po cichu przechodzi na przesyłanie przez pamięć hosta. Kopiowanie nadal działa, ale z niższą szybkością PCIe.
Asynchroniczne kopiowanie peer
Transfery peer mogą nakładać się na inną pracę. Należy połączyć cudaMemcpyPeerAsync ze strumieniem, aby kopiowanie odbywało się równocześnie z obliczeniami kerneli.
cudaMemcpyPeerAsync(dst, 1, src, 0, bytes, stream);Wyłącz po zakończeniu
Dostęp peer wykorzystuje zasoby, dlatego po zakończeniu należy go zwolnić. cudaDeviceDisablePeerAccess zamyka wcześniej otwarte połączenie.
cudaDeviceDisablePeerAccess(1);Szybkie sprawdzenie
Proszę przypomnieć sobie korzyść z dostępu peer-to-peer między dwoma GPU.
Podsumowanie
P2P pozwala GPU bezpośrednio współdzielić pamięć, najlepiej za pośrednictwem NVLink. Należy sprawdzić obsługę, włączyć dostęp w każdym kierunku, a następnie użyć cudaMemcpyPeer. Następnie: skalowanie za pomocą NCCL. ✨
Ucz się C++ dzięki korepetycjom AI — za darmo
Pisz i uruchamiaj kod w przeglądarce, otrzymuj natychmiastową pomoc od korepetytora AI dostępnego 24/7 i kontynuuj naukę w sieci lub w aplikacji.
- Kursy
- 30
- Lekcje
- 120
Często zadawane pytania
Czy lekcja „Dostęp peer-to-peer do pamięci” jest bezpłatna?
Tak — pełny tekst „Dostęp peer-to-peer do pamięci” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu CUDA Academy, przejdź na CoddyKit PRO. Kurs CUDA Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „Dostęp peer-to-peer do pamięci”?
Bezpośrednie kopie GPU-do-GPU przez NVLink Ćwiczysz CUDA Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć CUDA Academy?
Nie wymagamy żadnego doświadczenia. CUDA Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 3 z 4.
Ile czasu zajmuje lekcja „Dostęp peer-to-peer do pamięci”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji CUDA Academy?
Tak. Każda lekcja CUDA Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Enumerowanie i wybieranie urządzeń
- Partycjonowanie pracy między GPU
- Dostęp peer-to-peer do pamięci
- Wiele GPU z NCCL