Vad Tensor Cores beräknar

En Tensor Core är en särskild hårdvaruenhet i moderna NVIDIA GPU:er som är byggd för en enda uppgift i extremt hög hastighet: matrisberäkningar på små matriser. 🚀

Tensor Cores beräknar en matrix multiply-accumulate, skriven D = A gånger B plus C. De utför hela multiplikationen och additionen i ett enda steg.

I stället för ett enda tal hanterar en Tensor Core en liten matrix tile i varje cykel. Därför överträffar den kraftigt en vanlig kärna som arbetar element för element.

Multiplikationen och additionen utförs fused, så mellanprodukten avrundas aldrig separat. Det ger bättre noggrannhet än två separata steg.

Djupinlärning och grafik innehåller mängder av matrismultiplikationer. Tensor Cores finns eftersom denna enda operation dominerar så många verkliga arbetsbelastningar.

Plustecknet C i D = A gånger B plus C gör att Ni kan behålla en löpande totalsumma. Denna ackumulator bygger stora resultat av många små tiles.

För matrisberäkningar kan en Tensor Core ge många gånger högre genomströmning än vanliga CUDA-kärnor, eftersom den packar en fullständig tile multiply i en instruktion.

Tensor Cores tar ofta emot indata med låg precision men använder en ackumulator med högre precision. Ni får snabb multiplikation och säkrare löpande summor.

Tensor Cores introducerades med Volta-arkitekturen och utvecklades vidare i Turing, Ampere och Hopper. Varje generation breddade tilestorlekarna och lade till format.

Tensor Cores hjälper bara när arbetet liknar en matrix multiply. En enkel vektoraddition eller skalär loop använder dem inte alls.

Ni når Tensor Cores via bibliotek eller WMMA-API:t. Denna anropsform är den multiply-accumulate som Ni kommer att skriva senare.

Ni har lärt Er att en Tensor Core förenar en full tile-stor matrismultiplikation med ackumulering i ett snabbt steg, perfekt för den matrisberäkning som ligger bakom djupinlärning. Nästa del: precisionsformat. 🎉