Co obliczają Tensor Cores

Tensor Core to specjalna jednostka sprzętowa we współczesnych procesorach GPU firmy NVIDIA, zaprojektowana do jednego zadania wykonywanego z ogromną szybkością: operacji na małych macierzach. 🚀

Tensor Cores obliczają mnożenie macierzy z akumulacją, zapisywane jako D = A razy B plus C. Wykonują całe mnożenie i dodawanie w jednym kroku.

Zamiast jednej liczby Tensor Core obsługuje w każdym cyklu mały kafelek macierzy. Dlatego wykonuje tę pracę znacznie szybciej niż zwykły rdzeń, który przetwarza element po elemencie.

Mnożenie i dodawanie odbywają się w sposób połączony, więc iloczyn pośredni nie jest zaokrąglany osobno. Zapewnia to większą dokładność niż dwa oddzielne kroki.

Uczenie głębokie i grafika obfitują w mnożenia macierzy. Tensor Cores istnieją, ponieważ ta jedna operacja dominuje w tak wielu rzeczywistych obciążeniach.

Dodanie C w D = A razy B plus C pozwala zachować bieżącą sumę. Ten akumulator umożliwia budowanie dużych wyników z wielu małych kafelków.

W przypadku operacji na macierzach Tensor Core może zapewnić wielokrotnie większą przepustowość niż zwykłe rdzenie CUDA, ponieważ mieści pełne mnożenie kafelka w jednej instrukcji.

Tensor Cores często przyjmują dane wejściowe o niskiej precyzji, ale zachowują akumulator o wyższej precyzji. Mnożenie jest szybkie, a bieżąca suma pozostaje bezpieczna.

Tensor Cores pojawiły się wraz z architekturą Volta i rozwijały się w generacjach Turing, Ampere oraz Hopper. Każda generacja zwiększała rozmiary kafelków i dodawała nowe formaty.

Tensor Cores pomagają tylko wtedy, gdy praca przypomina mnożenie macierzy. Proste dodawanie wektorów lub pętla skalarna w ogóle ich nie użyje.

Z Tensor Cores korzysta się za pośrednictwem bibliotek lub API WMMA. Ten schemat wywołania przedstawia operację mnożenia z akumulacją, którą zostanie później napisana.

Jaką pojedynczą operację zaprojektowano do przyspieszania za pomocą Tensor Cores?

Dowiedział się Pan, że Tensor Core łączy pełne mnożenie macierzy o rozmiarze kafelka z akumulacją w jednym szybkim kroku, idealnym dla obliczeń macierzowych stosowanych w uczeniu głębokim. Następnie: formaty precyzji. 🎉