Exporter vers ONNX pour faciliter la portabilité

Vous avez entraîné votre modèle avec PyTorch, mais vous souhaitez le mettre à disposition en C++ ou dans un navigateur. Un fichier lié à un framework rend cette tâche pénible. ONNX résout le problème. 🌍

ONNX est un format ouvert et partagé pour les modèles. Il décrit les calculs sous forme de graphe que de nombreux frameworks et moteurs d’exécution peuvent lire.

En interne, un modèle ONNX est un graphe composé d’opérateurs standard comme MatMul et Relu, ainsi que des poids appris.

Exportez une fois : le même fichier s’exécute sur des serveurs, des appareils mobiles et des appareils périphériques grâce à différents moteurs d’exécution, sans nouvel entraînement.

PyTorch fournit un exportateur. Transmettez le modèle et un exemple d’entrée à torch.onnx.export afin qu’il puisse retracer le graphe.

L’exportateur exécute votre modèle sur l’exemple pour enregistrer les opérateurs activés. Cette exécution tracée devient le graphe qu’il enregistre.

Pour scikit-learn, utilisez la bibliothèque skl2onnx. Fournissez-lui le modèle et la forme de l’entrée pour produire un graphe ONNX.

ONNX Runtime est un moteur rapide et multiplateforme. Chargez le fichier .onnx dans une session et appelez run pour obtenir les prédictions.

ONNX Runtime peut utiliser des fournisseurs d’exécution comme CUDA ou TensorRT pour accélérer le même modèle sur différents matériels. ⚡

Chaque export cible une version d’opset qui définit les opérateurs disponibles. Faites-la correspondre à ce que votre moteur d’exécution prend en charge, sinon le chargement échoue.

Après l’export, exécutez les deux modèles sur la même entrée et comparez-les. Vérifiez que le résultat ONNX correspond à l’original avant de le déployer. ✅

Vous pouvez exporter des modèles vers ONNX, les exécuter avec ONNX Runtime sur n’importe quel matériel, tenir compte de l’opset et toujours vérifier que les sorties correspondent. 🎉