Wąskie gardło transferu PCIe

CPU i GPU znajdują się na oddzielnych płytach połączonych magistralą PCIe. Każde cudaMemcpy musi przejść przez ten wąski most. 🌉

Przepustowość pamięci GPU może wynosić terabajty na sekundę, ale magistrala PCIe zapewnia zaledwie dziesiątki gigabajtów. To właśnie magistrala jest wąskim gardłem.

W przypadku szybkiego kernela czas transferu może wielokrotnie przewyższać czas obliczeń. GPU pozostaje bezczynne i czeka na nadejście danych.

Pierwsze rozwiązanie jest proste: przenosić tylko potrzebne dane i wykonywać więcej pracy na każdy bajt po umieszczeniu danych w GPU.

Należy unikać przesyłania tablic tam i z powrotem. Lepiej pozostawić je na urządzeniu podczas wykonywania kilku kerneli, zamiast przesyłać je ponownie.

Wiele niewielkich transferów wiąże się za każdym razem ze stałym narzutem. Połączenie ich w jedno duże kopiowanie jest znacznie wydajniejsze. 📦

Koszt transferu można ukryć, nakładając kopiowanie na obliczenia za pomocą strumieni, dzięki czemu GPU pracuje, gdy dane są przesyłane.

Przypięta pamięć hosta umożliwia szybszy transfer DMA i kopiowanie asynchroniczne. Jest kluczowa dla rzeczywistego nakładania transferów na działanie kerneli.

Należy mierzyć osobno czas kopiowania i działania kerneli. Profiler, taki jak Nsight, dokładnie pokaże, w którym miejscu magistrala ogranicza wydajność.

Jeśli program jest ograniczony przez transfer, szybszy kernel nie pomoże. Najpierw należy ograniczyć przesyłanie danych, a dopiero potem optymalizować obliczenia.

W przypadku małych problemów koszt kopiowania może przewyższać przyspieszenie. GPU opłaca się wtedy, gdy czas obliczeń wyraźnie przewyższa czas transferu.

Dowiedzieli się Państwo, dlaczego PCIe jest wąskim gardłem: należy kopiować mniej, przechowywać dane na urządzeniu, łączyć transfery, nakładać je na obliczenia za pomocą strumieni i zawsze dokonywać pomiarów. 🎉