CUDA Academy · Урок

Несколько GPU с NCCL

Коллективный обмен данными для масштабирования

«Несколько GPU с NCCL» — бесплатный урок CUDA Academy на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения CUDA Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс CUDA Academy содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

Hand-Rolled Gets Hard

Wiring peer copies by hand across many GPUs becomes messy fast. For real scaling you want a library built for collective communication.

Meet NCCL

NVIDIA's answer is NCCL, the collective communications library. It moves data among GPUs using the fastest links it can find, automatically.

What a Collective Is

A collective is one operation that every GPU joins together, like summing a value held on each card. All devices cooperate in a single call.

The Star Collective: AllReduce

The workhorse is AllReduce. It combines a buffer from every GPU, say by adding, and hands the same result back to all of them.

ncclAllReduce(send, recv, n, ncclFloat, ncclSum, comm, stream);

More Collectives

NCCL also offers Broadcast to share one GPU's data with all, plus AllGather and ReduceScatter for other common exchange patterns.

The Communicator

The GPUs that talk together form a group tracked by a communicator. Every collective call passes this handle so NCCL knows the participants.

Ranks Identify GPUs

Inside a communicator each GPU gets a number called its rank, from 0 up. Ranks let you say who sends, who receives, and who is the root.

Building the Communicators

For GPUs in one process, ncclCommInitAll sets up every communicator at once from the list of device ids you provide.

ncclCommInitAll(comms, nGpus, devs);

Stream Aware

Every NCCL call takes a stream. Operations queue there and run alongside your kernels, so communication overlaps computation.

Grouping Calls

To issue collectives on many GPUs without deadlock, wrap them between ncclGroupStart and ncclGroupEnd so NCCL launches them together.

ncclGroupStart();
// per-GPU calls
ncclGroupEnd();

Why Training Loves It

Deep learning syncs gradients across GPUs every step. AllReduce is exactly that, which is why NCCL powers nearly all multi-GPU training.

Quick Check

Recall the NCCL collective that sums a buffer across GPUs and returns the result to all of them.

Recap

NCCL runs collectives like AllReduce over fast links, organized by a communicator of ranked GPUs. It is the backbone of multi-GPU training. Course complete. ✨

Часто задаваемые вопросы

Урок «Несколько GPU с NCCL» бесплатный?

Да — полный текст урока «Несколько GPU с NCCL» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс CUDA Academy, подпишись на CoddyKit PRO. Курс CUDA Academy содержит 4 уроков всего.

Чему я научусь в уроке «Несколько GPU с NCCL»?

Коллективный обмен данными для масштабирования Ты практикуешь CUDA Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать CUDA Academy?

Предыдущий опыт не требуется. CUDA Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.

Сколько времени занимает урок «Несколько GPU с NCCL»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке CUDA Academy?

Да. Каждый урок CUDA Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

← Назад к CUDA Academy