Synchronisierte Batch Norm und geshardeter State

Batch Norm berechnet Statistiken aus dem lokalen Batch jeder GPU. Wenn der Batch auf viele GPUs aufgeteilt wird, schrumpft der Batch pro Gerät und diese Statistiken werden ungenau.

SyncBatchNorm behebt dieses Problem, indem Mittelwert und Varianz gemeinsam über alle GPUs berechnet werden, als würde die Layer den vollständigen globalen Batch sehen.

Sie müssen die Layer nicht von Hand umschreiben. Ein Hilfsprogramm konvertiert jede BatchNorm in Ihrem Modell in ihre synchronisierte Variante.

Die Reihenfolge ist entscheidend: Rufen Sie die Konvertierung vorher auf, bevor Sie das Modell in DDP verpacken, damit DDP die synchronisierten Layer verwaltet.

Das Synchronisieren der Statistiken bedeutet ein zusätzliches All-Reduce an jeder Batch-Normalisierungsschicht. Verwenden Sie es, wenn kleine Batches pro GPU die Genauigkeit beeinträchtigen, nicht standardmäßig.

Normales DDP kopiert das vollständige Modell, die Gradienten und den Optimizer-Zustand auf jede GPU. Bei riesigen Modellen verschwendet diese Redundanz schnell Speicher.

Sharding teilt diese Tensoren auf mehrere GPUs auf, sodass jedes Gerät nur einen Teil speichert. Zusammen enthalten die GPUs weiterhin das vollständige Modell.

PyTorchs FullyShardedDataParallel teilt Parameter, Gradienten und den Optimizer-Zustand auf. Damit können Sie Modelle trainieren, die deutlich größer als der Speicher einer einzelnen GPU sind.

FSDP führt die vollständigen Gewichte jeder Schicht erst zusammen, wenn sie für die Berechnung benötigt werden, und gibt sie anschließend wieder frei. So bleibt der Spitzenverbrauch des Speichers gering.

Sharding gibt es in mehreren Stufen, den sogenannten ZeRO-Stufen: zuerst den Optimizer-Zustand, dann die Gradienten und anschließend die Parameter aufteilen. Mehr Sharding spart mehr Speicher.

Wenn Ihr Modell auf eine GPU passt, ist normales DDP die einfachste Lösung. Wenn nicht, verwenden Sie FSDP, um den Zustand aufzuteilen und weiterzuarbeiten.

Sie haben zwei Werkzeuge für Konsistenz kennengelernt: SyncBatchNorm hält die Statistiken über alle GPUs hinweg global, und FSDP teilt den Zustand auf, damit riesige Modelle passen. Verwenden Sie jedes nur, wenn Sie es benötigen.