0Pricing
Deep Learning Academy · Урок

Запускайте задания с помощью torchrun

Создавайте процессы-исполнители и координируйте их

«Запускайте задания с помощью torchrun» — бесплатный урок Deep Learning Academy на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Deep Learning Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Deep Learning Academy содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

Who Starts the Processes

DDP needs one process per GPU, but who spawns them? You do not launch them by hand. torchrun is the tool that does it for you.

Meet torchrun

torchrun is PyTorch's launcher. You give it your script and how many processes to start, and it handles the coordination.

torchrun --nproc_per_node=4 train.py

Processes per Node

The nproc_per_node flag sets how many processes to spawn on this machine. Usually it equals the number of GPUs you have.

torchrun --nproc_per_node=8 train.py

Environment Variables Appear

torchrun injects key values as environment variables: RANK, LOCAL_RANK, and WORLD_SIZE. Your script reads them to know who it is.

import os
local_rank = int(os.environ["LOCAL_RANK"])

No Manual Address Wiring

Older launchers made you pass ranks by hand. With torchrun, the rendezvous is automatic, so your script stays clean and portable.

Init Reads the Env

Because torchrun sets the env vars, your init_process_group call needs no arguments beyond the backend. It picks everything up automatically.

import torch.distributed as dist
dist.init_process_group(backend="nccl")

Scale to Many Machines

To go multi-node, add nnodes and a node rank. Each machine runs the same command with its own node id.

torchrun --nnodes=2 --node_rank=0 --nproc_per_node=4 train.py

Point to the Master

Across nodes, all processes must find a meeting point. The rdzv_endpoint gives the host and port they rendezvous on.

torchrun --rdzv_endpoint=host0:29500 train.py

Survive a Worker Crash

torchrun supports elastic training: set a min and max node count, and the job can recover if a worker drops out. 💪

torchrun --nnodes=1:4 --max_restarts=3 train.py

Log From One Rank

Every process prints, so logs get noisy. Gate prints behind a rank check so only rank 0 reports progress.

if int(os.environ["RANK"]) == 0:
    print("epoch done")

The Whole Recipe

The pattern is simple: write a normal DDP script, then launch it with torchrun. The launcher and DDP handle the rest together.

Quick Check

Recall what torchrun hands to your script.

Recap

You learned to launch jobs with torchrun: set processes per node, read the injected env vars, and scale to many nodes with elastic recovery.

Часто задаваемые вопросы

Урок «Запускайте задания с помощью torchrun» бесплатный?

Да — полный текст урока «Запускайте задания с помощью torchrun» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Deep Learning Academy, подпишись на CoddyKit PRO. Курс Deep Learning Academy содержит 4 уроков всего.

Чему я научусь в уроке «Запускайте задания с помощью torchrun»?

Создавайте процессы-исполнители и координируйте их Ты практикуешь Deep Learning Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать Deep Learning Academy?

Предыдущий опыт не требуется. Deep Learning Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.

Сколько времени занимает урок «Запускайте задания с помощью torchrun»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке Deep Learning Academy?

Да. Каждый урок Deep Learning Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

  1. Параллелизм данных и моделей
  2. Основы DistributedDataParallel
  3. Синхронизация нормализации пакетов и фрагментированное состояние
  4. Запускайте задания с помощью torchrun
← Назад к Deep Learning Academy