PricingLoginStart free
Pelajari AI dengan Python · Pelajaran

Penyajian Berprestasi Tinggi dengan Triton Inference Server

Repositori model, konfigurasi model config.pbtxt, tika model serentak, pengelompokan dinamik.

Pelajaran 3 daripada 413 langkah

Penyajian Berprestasi Tinggi dengan Triton Inference Server ialah pelajaran Pelajari AI dengan Python percuma di CoddyKit. Ini ialah pelajaran 3 daripada 4. Sebanyak 3 pelajaran dalam laluan pembelajaran ini boleh dibaca sepenuhnya secara percuma — selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan praktikal dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Pelajari AI dengan Python, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Pelajari AI dengan Python merangkumi sejumlah 4 pelajaran.

Apakah Triton

NVIDIA Triton Inference Server ialah sistem penyajian bertaraf produksi yang mengehoskan banyak model serentak merentas CPU dan GPU. Sistem ini menyokong berbilang bahagian belakang (TensorRT, ONNX, PyTorch, TensorFlow, Python) melalui satu API HTTP/gRPC, dengan pengelompokan dan keserentakan terbina dalam.

Repositori Model

Triton memuatkan model daripada repositori model: satu direktori yang setiap modelnya mempunyai folder tersendiri, subfolder versi bernombor dan fail config.pbtxt.

model_repository/
  resnet50/
    config.pbtxt
    1/
      model.onnx
  bert/
    config.pbtxt
    1/
      model.pt

config.pbtxt: bahagian belakang

Fail config.pbtxt menerangkan cara Triton menjalankan model. Bahagian belakang (atau platform) memberitahu Triton masa jalan yang perlu digunakan.

name: "resnet50"
backend: "onnxruntime"
max_batch_size: 32

Tensor Masukan dan Keluaran

Anda mengisytiharkan setiap masukan dan keluaran: namanya, jenis data dan dimensi tensor (bentuk). Bentuk tersebut mestilah sepadan dengan jangkaan model. Dimensi kelompok pada bahagian awal diandaikan berdasarkan max_batch_size.

input [
  {
    name: "input"
    data_type: TYPE_FP32
    dims: [ 3, 224, 224 ]
  }
]
output [
  {
    name: "output"
    data_type: TYPE_FP32
    dims: [ 1000 ]
  }
]

Jenis Data

Triton menggunakan jenis data tensor yang jelas supaya klien dan model bersetuju tentang susun atur bait:

  • TYPE_FP32 nombor titik apungan 32-bit (biasa untuk imej)
  • TYPE_FP16 ketepatan separuh (lebih pantas pada GPU)
  • TYPE_INT64 ID token untuk NLP
  • TYPE_INT8 model terkuantum

Pengelompokan Dinamik: Idea Asas

Pengelompokan dinamik membolehkan Triton menggabungkan beberapa permintaan masuk ke dalam satu kelompok yang lebih besar sebelum menjalankan model. GPU jauh lebih cekap dengan kelompok besar, jadi cara ini meningkatkan kadar pemprosesan dengan ketara tanpa mengubah kod klien.

Mengkonfigurasi Pengelompokan Dinamik

Anda mengaktifkannya dalam konfigurasi dan menetapkan tempoh Triton menunggu untuk mengumpulkan permintaan. max_queue_delay_microseconds yang kecil mengorbankan sedikit kependaman demi kadar pemprosesan yang jauh lebih tinggi.

dynamic_batching {
  preferred_batch_size: [ 8, 16 ]
  max_queue_delay_microseconds: 1000
}

Instans Model Serentak

Secara lalai, Triton menjalankan satu salinan (instans) model. Dengan instance_group, anda boleh menjalankan beberapa instans secara selari pada satu atau lebih GPU, memproses permintaan bebas secara serentak dan meningkatkan penggunaan sumber.

instance_group [
  {
    count: 2
    kind: KIND_GPU
    gpus: [ 0 ]
  }
]

Pengelompokan berbanding Keserentakan

Kedua-duanya menyelesaikan masalah yang berbeza:

  • Pengelompokan dinamik menggabungkan permintaan ke dalam satu panggilan model (kadar pemprosesan bagi setiap panggilan)
  • Instans serentak menjalankan beberapa panggilan model pada masa yang sama (pemprosesan selari)

Kedua-duanya saling melengkapi; konfigurasi produksi biasanya menggunakan kedua-duanya.

perf_analyzer

perf_analyzer ialah alat Triton yang memuatkan pelayan dengan permintaan sintetik dan melaporkan kadar pemprosesan (inferens/saat) serta persentil kependaman. Gunakannya untuk mencari tetapan pengelompokan dan keserentakan yang memaksimumkan kadar pemprosesan dalam had kependaman anda.

perf_analyzer -m resnet50 \
  --concurrency-range 1:8 \
  --percentile 95

Membaca Keluaran perf_analyzer

Alat ini menguji tahap keserentakan secara berperingkat dan mencetak kadar pemprosesan serta kependaman bagi setiap tahap. Anda mencari titik perubahan pada lengkung: titik apabila penambahan keserentakan tidak lagi meningkatkan kadar pemprosesan atau menyebabkan kependaman P95 melebihi had anda.

# Concurrency: 4, throughput: 1820 infer/sec, p95 latency: 9.1 ms
# Concurrency: 8, throughput: 1905 infer/sec, p95 latency: 17.4 ms

Uji Pantas

Uji pengetahuan anda tentang Triton.

Jawab dalam pelajaran interaktif

Ringkasan

Anda telah mempelajari penyajian berprestasi tinggi dengan Triton:

  • Repositori model: folder bagi setiap model dengan subdirektori versi dan config.pbtxt
  • config.pbtxt mengisytiharkan bahagian belakang, bentuk tensor masukan/keluaran dan jenis data
  • Pengelompokan dinamik meningkatkan kadar pemprosesan; instans serentak menambah pemprosesan selari
  • perf_analyzer menanda aras kadar pemprosesan berbanding kependaman untuk melaraskan tetapan
Percuma untuk bermula

Pelajari Python dengan tutor kecerdasan buatan — percuma

Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.

Kursus
53
Pelajaran
225
Mula belajar secara percumaLihat kursus penuh

Soalan Lazim

Adakah pelajaran “Penyajian Berprestasi Tinggi dengan Triton Inference Server” percuma?

Ya — sebanyak 3 pelajaran dalam laluan pembelajaran Pelajari AI dengan Python, termasuk “Penyajian Berprestasi Tinggi dengan Triton Inference Server”, boleh dibaca sepenuhnya secara percuma di web ini. Selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan interaktif dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Kursus Pelajari AI dengan Python merangkumi sejumlah 4 pelajaran.

Apakah yang akan saya pelajari dalam “Penyajian Berprestasi Tinggi dengan Triton Inference Server”?

Repositori model, konfigurasi model config.pbtxt, tika model serentak, pengelompokan dinamik. Anda berlatih Pelajari AI dengan Python menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.

Adakah saya memerlukan pengalaman untuk memulakan Pelajari AI dengan Python?

Tiada pengalaman terdahulu diperlukan. Pembelajaran Pelajari AI dengan Python di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 3 daripada 4.

Berapa lamakah pelajaran “Penyajian Berprestasi Tinggi dengan Triton Inference Server” diambil?

Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.

Bolehkah saya menulis dan menjalankan kod dalam pelajaran Pelajari AI dengan Python ini?

Ya. Setiap pelajaran Pelajari AI dengan Python menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.

Semua pelajaran dalam kursus ini

  1. Membungkus Model Pembelajaran Mesin dalam Kontena dengan Docker
  2. Pelaksanaan Awan: AWS SageMaker
  3. Penyajian Berprestasi Tinggi dengan Triton Inference Server
  4. Penskalaan dan Penskalaan Automatik Titik Akhir Model
← Kembali ke Pelajari AI dengan Python