PricingLoginStart free
Deep Learning Academy · Ders

torchrun ile İş Başlatma

Çalışan süreçleri oluşturup koordine edin.

4. ders / 413 adım

torchrun ile İş Başlatma, CoddyKit'te ücretsiz bir Deep Learning Academy dersidir. Bu, 4 dersinin 4. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Deep Learning Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Deep Learning Academy kursu toplamda 4 dersten oluşur.

İşlemleri Kim Başlatır

DDP, GPU başına bir işlem gerektirir; peki bunları kim oluşturur? Elle başlatmanız gerekmez. torchrun bunu sizin için yapan araçtır.

torchrun ile Tanışın

torchrun, PyTorch'un başlatıcısıdır. Ona betiğinizi ve başlatılacak işlem sayısını verirsiniz; koordinasyonu o yönetir.

torchrun --nproc_per_node=4 train.py

Düğüm Başına İşlem Sayısı

nproc_per_node seçeneği, bu makinede kaç işlem oluşturulacağını belirler. Genellikle sahip olduğunuz GPU sayısına eşittir.

torchrun --nproc_per_node=8 train.py

Ortam Değişkenleri Ortaya Çıkar

torchrun önemli değerleri ortam değişkenleri olarak ekler: RANK, LOCAL_RANK ve WORLD_SIZE. Betiğiniz, hangi işlem olduğunu anlamak için bunları okur.

import os
local_rank = int(os.environ["LOCAL_RANK"])

Adresleri Elle Bağlamanız Gerekmez

Eski başlatıcılar, sıraları elle aktarmanızı gerektirirdi. torchrun ile eşleştirme otomatik yapılır; böylece betiğiniz temiz ve taşınabilir kalır.

Başlatma Ortamı Okur

torchrun ortam değişkenlerini ayarladığı için init_process_group çağrınızın arka uç dışında başka bağımsız değişkenlere ihtiyacı yoktur. Gerekli her şeyi otomatik olarak alır.

import torch.distributed as dist
dist.init_process_group(backend="nccl")

Birçok Makineye Ölçekleyin

Birden çok düğüme geçmek için nnodes ve bir düğüm sırası ekleyin. Her makine, kendi düğüm kimliğiyle aynı komutu çalıştırır.

torchrun --nnodes=2 --node_rank=0 --nproc_per_node=4 train.py

Ana Makineyi Gösterin

Düğümler arasında tüm işlemler bir buluşma noktası bulmalıdır. rdzv_endpoint, işlemlerin buluşacağı makineyi ve bağlantı noktasını belirtir.

torchrun --rdzv_endpoint=host0:29500 train.py

Bir Çalışanın Çökmesine Dayanın

torchrun esnek eğitimi destekler: en az ve en fazla düğüm sayısını ayarlayın; bir çalışan ayrılırsa iş kurtarılabilir. 💪

torchrun --nnodes=1:4 --max_restarts=3 train.py

Tek Bir Sıradan Günlük Tutun

Her işlem çıktı üretir; bu nedenle günlükler gürültülü hâle gelir. Yalnızca rank 0'ın ilerlemeyi bildirmesi için çıktıları bir sıra denetiminin arkasına alın.

if int(os.environ["RANK"]) == 0:
    print("epoch done")

Tüm Tarif

Yöntem basittir: normal bir DDP betiği yazın, ardından onu torchrun ile başlatın. Başlatıcı ile DDP geri kalanını birlikte yönetir.

Hızlı Kontrol

torchrun'un betiğinize hangi bilgileri verdiğini hatırlayın.

İnteraktif derste cevapla

Özet

İşleri torchrun ile başlatmayı öğrendiniz: düğüm başına işlem sayısını ayarlayın, eklenen ortam değişkenlerini okuyun ve esnek kurtarma ile birçok düğüme ölçekleyin.

Başlamak ücretsiz

Yapay zeka eğitmeniyle Python öğren — ücretsiz

Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.

Kurslar
30
Dersler
120
Ücretsiz öğrenmeye başlaTüm kursu görüntüle

Sıkça Sorulan Sorular

“torchrun ile İş Başlatma” dersi ücretsiz mi?

Evet — “torchrun ile İş Başlatma” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Deep Learning Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Deep Learning Academy kursu toplamda 4 dersten oluşur.

“torchrun ile İş Başlatma” dersinde ne öğreneceğim?

Çalışan süreçleri oluşturup koordine edin. Deep Learning Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.

Deep Learning Academy öğrenmeye başlamak için deneyim gerekli mi?

Önceden deneyim gerekmez. CoddyKit'te Deep Learning Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 4. dersidir.

“torchrun ile İş Başlatma” dersi ne kadar sürer?

Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.

Bu Deep Learning Academy dersinde kod yazıp çalıştırabilir miyim?

Evet. Her Deep Learning Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.

Bu kursun tüm dersleri

  1. Veri ve Model Paralelliği
  2. DistributedDataParallel Temelleri
  3. Eşzamanlı Toplu Normalleştirme ve Parçalı Durum
  4. torchrun ile İş Başlatma
← Deep Learning Academy Sayfasına Dön