Экспорт в ONNX для переносимости

Вы обучили модель в PyTorch, но хотите обслуживать её в C++ или браузере. Файл, привязанный к одной платформе, создаёт сложности. ONNX решает эту проблему. 🌍

ONNX — это открытый общий формат для моделей. Он описывает математические операции в виде графа, который могут читать многие платформы и среды выполнения.

Внутри модель ONNX представляет собой граф стандартных операторов, таких как MatMul и Relu, а также обученных весов.

Экспортируйте модель один раз, и тот же файл будет работать на серверах, мобильных и периферийных устройствах через разные среды выполнения — повторное обучение не требуется.

PyTorch поставляется с инструментом экспорта. Передайте ему модель и пример входных данных в torch.onnx.export, чтобы он мог проследить граф.

Инструмент экспорта запускает модель на примере, чтобы записать, какие операции выполняются. Этот прослеженный запуск становится сохраняемым графом.

Для scikit-learn используйте библиотеку skl2onnx. Передайте ей модель и форму входных данных, чтобы получить граф ONNX.

ONNX Runtime — это быстрая кроссплатформенная среда выполнения. Загрузите файл .onnx в сеанс и вызовите run, чтобы получить прогнозы.

ONNX Runtime может использовать поставщиков выполнения, таких как CUDA или TensorRT, чтобы ускорять одну и ту же модель на разном оборудовании. ⚡

Каждый экспорт рассчитан на определённую версию набора операторов, которая определяет доступные операторы. Она должна соответствовать возможностям среды выполнения, иначе загрузка завершится ошибкой.

После экспорта запустите обе модели на одних и тех же входных данных и сравните результаты. Перед выпуском убедитесь, что результат ONNX совпадает с исходным. ✅

Вы умеете экспортировать модели в ONNX, запускать их с помощью ONNX Runtime на любом оборудовании, учитывать набор операторов и всегда проверять совпадение результатов. 🎉