Lancer des tâches avec torchrun
Créez et coordonnez les processus travailleurs.
Lancer des tâches avec torchrun est une leçon Deep Learning Academy gratuite sur CoddyKit. Ceci est la leçon 4 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Deep Learning Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Deep Learning Academy comprend 4 leçons au total.
Qui démarre les processus
DDP nécessite un processus par GPU, mais qui les crée ? Vous ne les lancez pas manuellement. Le lanceur de PyTorch s'en charge pour vous.
Découvrez le lanceur de PyTorch
Le lanceur de PyTorch est l'outil de lancement de PyTorch. Vous lui fournissez votre script et le nombre de processus à démarrer, et il gère la coordination.
torchrun --nproc_per_node=4 train.pyProcessus par nœud
L'option nproc_per_node définit le nombre de processus à créer sur cette machine. Il correspond généralement au nombre de GPU dont vous disposez.
torchrun --nproc_per_node=8 train.pyLes variables d'environnement apparaissent
Le lanceur de PyTorch injecte des valeurs clés sous forme de variables d'environnement : RANK, LOCAL_RANK et WORLD_SIZE. Votre script les lit pour savoir quelle est son identité.
import os
local_rank = int(os.environ["LOCAL_RANK"])Aucun adressage manuel
Les anciens lanceurs vous obligeaient à transmettre les rangs manuellement. Avec le lanceur de PyTorch, le rendez-vous est automatique : votre script reste propre et portable.
L'initialisation lit l'environnement
Comme le lanceur de PyTorch définit les variables d'environnement, votre appel à init_process_group n'a besoin d'aucun argument en dehors du moteur d'exécution. Il récupère automatiquement toutes les informations.
import torch.distributed as dist
dist.init_process_group(backend="nccl")Passer à plusieurs machines
Pour passer à plusieurs nœuds, ajoutez nnodes et un rang de nœud. Chaque machine exécute la même commande avec son propre identifiant de nœud.
torchrun --nnodes=2 --node_rank=0 --nproc_per_node=4 train.pyIndiquer le nœud maître
Entre les nœuds, tous les processus doivent trouver un point de rencontre. rdzv_endpoint fournit l'hôte et le port utilisés pour ce rendez-vous.
torchrun --rdzv_endpoint=host0:29500 train.pySurvivre à une panne de processus
Le lanceur de PyTorch prend en charge l'entraînement elastic : définissez un nombre minimal et maximal de nœuds, et la tâche peut reprendre si un processus s'arrête. 💪
torchrun --nnodes=1:4 --max_restarts=3 train.pyJournaliser depuis un seul rang
Chaque processus affiche des informations, ce qui rend les journaux bruyants. Conditionnez les affichages à une vérification du rang afin que seul le rang 0 indique la progression.
if int(os.environ["RANK"]) == 0:
print("epoch done")La recette complète
Le principe est simple : écrivez un script DDP normal, puis lancez-le avec le lanceur de PyTorch. Le lanceur et DDP se chargent ensemble du reste.
Vérification rapide
Rappelez-vous ce que le lanceur de PyTorch transmet à votre script.
Récapitulatif
Vous avez appris à lancer des tâches avec le lanceur de PyTorch : définir le nombre de processus par nœud, lire les variables d'environnement injectées et passer à de nombreux nœuds avec une reprise élastique.
Apprends Python avec un tuteur IA — gratuit
Écris et exécute du vrai code dans ton navigateur, obtiens de l'aide instantanée d'un tuteur IA disponible 24h/24, et reprends là où tu t'es arrêté sur le web ou dans l'app.
- Cours
- 30
- Leçons
- 120
Questions Fréquemment Posées
La leçon « Lancer des tâches avec torchrun » est-elle gratuite ?
Oui — le texte complet de « Lancer des tâches avec torchrun » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Deep Learning Academy, passe à CoddyKit PRO. Le cours Deep Learning Academy comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Lancer des tâches avec torchrun » ?
Créez et coordonnez les processus travailleurs. Tu pratiques Deep Learning Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Deep Learning Academy ?
Aucune expérience préalable n'est requise. Deep Learning Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 4 sur 4.
Combien de temps prend la leçon « Lancer des tâches avec torchrun » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Deep Learning Academy ?
Oui. Chaque leçon Deep Learning Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Parallélisme des données ou du modèle
- Les bases de DistributedDataParallel
- Normalisation par lots synchronisée et état fragmenté
- Lancer des tâches avec torchrun