Exporte a ONNX para facilitar la portabilidad

Ha entrenado el modelo en PyTorch, pero quiere servirlo en C++ o en el navegador. Un archivo ligado a un framework lo dificulta. ONNX lo soluciona. 🌍

ONNX es un formato abierto y compartido para modelos. Describe las operaciones matemáticas como un grafo que muchos frameworks y runtimes pueden leer.

Internamente, un modelo ONNX es un grafo de operadores estándar, como MatMul y Relu, junto con los pesos aprendidos.

Exporte una vez y el mismo archivo se ejecutará en servidores, móviles y dispositivos edge mediante distintos runtimes, sin necesidad de volver a entrenarlo.

PyTorch incluye un exportador. Pase el modelo y una entrada de ejemplo a torch.onnx.export para que pueda rastrear el grafo.

El exportador ejecuta el modelo con la muestra para registrar qué operaciones se activan. Esa ejecución rastreada se convierte en el grafo que guarda.

Para scikit-learn, utilice la biblioteca skl2onnx. Proporciónele el modelo y la forma de entrada para producir un grafo ONNX.

ONNX Runtime es un motor rápido y multiplataforma. Cargue el archivo .onnx en una sesión y llame a run para obtener predicciones.

ONNX Runtime puede utilizar execution providers como CUDA o TensorRT para acelerar el mismo modelo en distintos tipos de hardware. ⚡

Cada exportación tiene como destino una versión de opset que define los operadores disponibles. Haga que coincida con lo que admite su runtime o la carga fallará.

Después de exportar, ejecute ambos modelos con la misma entrada y compárelos. Confirme que el resultado de ONNX coincide con el original antes de ponerlo en producción. ✅

Ahora puede exportar modelos a ONNX, ejecutarlos con ONNX Runtime en cualquier hardware, tener en cuenta el opset y verificar siempre que las salidas coincidan. 🎉