Meerdere modelinstanties per GPU uitvoeren

Met één modelkopie moet aanvraag twee wachten terwijl aanvraag één wordt uitgevoerd. Zelfs een snelle GPU kan tussen aanroepen inactief zijn, waardoor je doorvoer misloopt.

Triton kan meerdere instanties van hetzelfde model laden, zodat meerdere aanvragen gelijktijdig worden uitgevoerd en hun werk op de GPU overlapt.

Je declareert kopieën met instance_group in config.pbtxt. Het veld count geeft aan hoeveel instanties Triton voor dat model moet maken.

Het veld kind kiest het apparaat. KIND_GPU voert instanties uit op de GPU, terwijl KIND_CPU ze op de hostprocessor uitvoert.

Je kunt instanties aan specifieke kaarten toewijzen met een lijst gpus. Zo kan één model zijn kopieën over meerdere GPU's op dezelfde server verdelen.

Terwijl één instantie berekeningen uitvoert, kan een andere invoer laden of resultaten kopiëren. Deze overlapping verbergt inactieve tussenruimtes en verhoogt het totale gebruik.

Instanties en dynamische batching werken samen. Batching vult elke aanroep, terwijl meerdere instanties ervoor zorgen dat er tegelijk meer dan één aanroep wordt uitgevoerd.

Elke instantie houdt een eigen kopie van de gewichten in het GPU-geheugen. Met te veel kopieën raakt je VRAM op, dus verhoog je het aantal geleidelijk.

Na een bepaald punt concurreren extra instanties alleen nog om dezelfde rekenkracht. De doorvoer vlakt af of daalt, dus je bepaalt het beste aantal door te meten in plaats van te raden.

Het juiste aantal instanties hangt af van hoeveel aanvragen tegelijk binnenkomen. Stem het aantal instanties af op je werkelijke gelijktijdigheid om zowel vertragingen als verspilling te voorkomen.

Twee instanties per GPU is een gebruikelijk beginpunt. Test met realistische belasting en pas het aantal daarna omhoog of omlaag aan op basis van wat je ziet.

Je hebt geleerd hoe je meerdere modelkopieën uitvoert via instance_group en instanties met batching combineert voor parallellisme, terwijl je het VRAM bewaakt en het aantal op basis van metingen afstelt. 🙌