CUDA Academy · Leçon

Multi-GPU avec NCCL

Communication collective pour la montée en charge

Multi-GPU avec NCCL est une leçon CUDA Academy gratuite sur CoddyKit. Ceci est la leçon 4 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage CUDA Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours CUDA Academy comprend 4 leçons au total.

Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.

Hand-Rolled Gets Hard

Wiring peer copies by hand across many GPUs becomes messy fast. For real scaling you want a library built for collective communication.

Meet NCCL

NVIDIA's answer is NCCL, the collective communications library. It moves data among GPUs using the fastest links it can find, automatically.

What a Collective Is

A collective is one operation that every GPU joins together, like summing a value held on each card. All devices cooperate in a single call.

The Star Collective: AllReduce

The workhorse is AllReduce. It combines a buffer from every GPU, say by adding, and hands the same result back to all of them.

ncclAllReduce(send, recv, n, ncclFloat, ncclSum, comm, stream);

More Collectives

NCCL also offers Broadcast to share one GPU's data with all, plus AllGather and ReduceScatter for other common exchange patterns.

The Communicator

The GPUs that talk together form a group tracked by a communicator. Every collective call passes this handle so NCCL knows the participants.

Ranks Identify GPUs

Inside a communicator each GPU gets a number called its rank, from 0 up. Ranks let you say who sends, who receives, and who is the root.

Building the Communicators

For GPUs in one process, ncclCommInitAll sets up every communicator at once from the list of device ids you provide.

ncclCommInitAll(comms, nGpus, devs);

Stream Aware

Every NCCL call takes a stream. Operations queue there and run alongside your kernels, so communication overlaps computation.

Grouping Calls

To issue collectives on many GPUs without deadlock, wrap them between ncclGroupStart and ncclGroupEnd so NCCL launches them together.

ncclGroupStart();
// per-GPU calls
ncclGroupEnd();

Why Training Loves It

Deep learning syncs gradients across GPUs every step. AllReduce is exactly that, which is why NCCL powers nearly all multi-GPU training.

Quick Check

Recall the NCCL collective that sums a buffer across GPUs and returns the result to all of them.

Recap

NCCL runs collectives like AllReduce over fast links, organized by a communicator of ranked GPUs. It is the backbone of multi-GPU training. Course complete. ✨

Questions Fréquemment Posées

La leçon « Multi-GPU avec NCCL » est-elle gratuite ?

Oui — le texte complet de « Multi-GPU avec NCCL » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours CUDA Academy, passe à CoddyKit PRO. Le cours CUDA Academy comprend 4 leçons au total.

Qu'est-ce que j'apprendrai dans « Multi-GPU avec NCCL » ?

Communication collective pour la montée en charge Tu pratiques CUDA Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.

Dois-je avoir de l'expérience pour commencer CUDA Academy ?

Aucune expérience préalable n'est requise. CUDA Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 4 sur 4.

Combien de temps prend la leçon « Multi-GPU avec NCCL » ?

La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.

Peux-tu écrire et exécuter du code dans cette leçon CUDA Academy ?

Oui. Chaque leçon CUDA Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.

Toutes les leçons de ce cours

← Retour à CUDA Academy