Mehrere Modellinstanzen pro GPU ausführen

Bei nur einer Modellkopie muss Anfrage zwei warten, während Anfrage eins verarbeitet wird. Selbst eine schnelle GPU kann zwischen den Aufrufen ungenutzt bleiben, wodurch Durchsatz verloren geht.

Triton kann mehrere Instanzen desselben Modells laden, sodass mehrere Anfragen gleichzeitig ausgeführt werden und sich ihre Arbeit auf der GPU überlappt.

Mit einem instance_group in config.pbtxt deklarieren Sie Kopien. Das Feld count gibt an, wie viele Instanzen Triton für dieses Modell erstellen soll.

Das Feld kind wählt das Gerät aus. KIND_GPU führt Instanzen auf der GPU aus, während KIND_CPU sie stattdessen auf dem Hostprozessor ausführt.

Mit einer Liste gpus können Sie Instanzen bestimmten Karten zuweisen. Dadurch kann ein Modell seine Kopien auf mehrere GPUs desselben Servers verteilen.

Während eine Instanz Berechnungen durchführt, kann eine andere Eingaben laden oder Ergebnisse kopieren. Diese Überlappung verbirgt Leerlaufzeiten und erhöht die Gesamtauslastung.

Instanzen und dynamisches Batching arbeiten zusammen. Batching füllt jeden Aufruf, während mehrere Instanzen gleichzeitig mehr als einen Aufruf ausführen.

Jede Instanz hält eine eigene Kopie der Gewichtungen im GPU-Speicher. Bei zu vielen Kopien geht Ihnen der VRAM aus. Erhöhen Sie die Anzahl daher schrittweise.

Ab einem bestimmten Punkt konkurrieren zusätzliche Instanzen lediglich um dieselben Rechenressourcen. Der Durchsatz stagniert oder sinkt. Die optimale Anzahl ermitteln Sie daher durch Messungen, nicht durch Raten.

Die richtige Anzahl an Instanzen hängt davon ab, wie viele Anfragen gleichzeitig eintreffen. Stimmen Sie die Instanzen auf Ihre tatsächliche Parallelität ab, um sowohl Verzögerungen als auch Verschwendung zu vermeiden.

Zwei Instanzen pro GPU sind ein üblicher Ausgangspunkt. Testen Sie mit einer realistischen Auslastung und passen Sie die Anzahl anschließend anhand Ihrer Beobachtungen nach oben oder unten an.

Sie haben gelernt, mithilfe von instance_group mehrere Modellkopien auszuführen und Instanzen für Parallelität mit Batching zu kombinieren. Dabei behalten Sie den VRAM im Blick und optimieren die Anzahl durch Messungen. 🙌