Exporte para ONNX

Às vezes, seu modelo precisa ser executado em um lugar onde o PyTorch não está instalado. O ONNX é um formato compartilhado que permite executar um modelo em vários mecanismos. 🌐

ONNX significa Open Neural Network Exchange. É um formato de arquivo independente de fornecedor que descreve seu modelo como um grafo de operações padrão.

Com o ONNX, você treina no PyTorch, mas implanta no tempo de execução do ONNX, em dispositivos móveis ou no navegador, sem reescrever o modelo para cada plataforma.

Você exporta fornecendo ao PyTorch o modelo e uma entrada de exemplo. O exportador rastreia a execução e grava um grafo portátil no disco.

Esse tensor de exemplo precisa corresponder à forma e ao tipo de dados da sua entrada real, pois o exportador registra as operações acionadas pelos dados.

Forneça nomes claros para as entradas e saídas para que o código de disponibilização possa associar os dados por nome, em vez de adivinhar as posições.

Por padrão, o tamanho do lote é fixo. Marque-o como um eixo dinâmico para que o modelo exportado aceite qualquer quantidade de entradas de uma vez.

Carregue o arquivo com a biblioteca onnx e execute o verificador integrado para confirmar que o grafo é válido antes de disponibilizá-lo. ✅

O tempo de execução do ONNX é um mecanismo rápido que executa o modelo exportado na CPU ou na GPU, geralmente mais rápido que a inferência em Python puro.

Execute a mesma entrada pelo PyTorch e pelo tempo de execução do ONNX e compare as saídas. Elas devem coincidir de perto, comprovando que a exportação é fiel.

Cada exportação tem como destino uma versão do opset, o conjunto de operações compatíveis. Escolha uma versão compreendida pelo seu ambiente de execução para evitar erros.

Você exportou um modelo do PyTorch para ONNX com uma entrada de exemplo, nomeou os eixos, validou-o e executou-o no tempo de execução do ONNX em qualquer lugar. 🎉