Acompanhamento de experimentos com MLflow: registro de parâmetros, métricas e artefatos

Quando você treina vários modelos com hiperparâmetros diferentes, é fácil perder o controle de qual execução alcançou o melhor resultado. O acompanhamento de experimentos registra automaticamente os parâmetros, as métricas e a versão do código de cada execução de treinamento em um banco de dados pesquisável. Sem isso, as equipes acabam recorrendo a planilhas desorganizadas ou simplesmente esquecendo o que funcionou. O MLflow é a ferramenta de código aberto padrão do setor para acompanhar experimentos de ML e gerenciar o ciclo de vida dos modelos.

O MLflow é um pacote totalmente escrito em Python que não exige um banco de dados externo para começar — ele armazena as execuções localmente em um diretório mlruns/. Instale-o com pip e inicie a interface de acompanhamento para visualizar as execuções em um navegador. A interface mostra todos os experimentos, os parâmetros e as métricas de cada execução e permite comparar execuções lado a lado com gráficos interativos.

O MLflow organiza as execuções em experimentos — agrupamentos lógicos de execuções relacionadas. Crie um experimento nomeado com mlflow.set_experiment. Todas as execuções subsequentes pertencerão a esse experimento. Use nomes descritivos que identifiquem o projeto e a data, por exemplo, 'random_forest_imdb_2024'. Cada execução dentro de um experimento recebe um ID exclusivo, um nome legível e seu próprio armazenamento de parâmetros, métricas e artefatos.

Parâmetros são as escolhas de configuração feitas antes do início do treinamento: hiperparâmetros como taxa de aprendizado, número de estimadores e intensidade da regularização. Registre-os com mlflow.log_param(key, value) dentro do contexto de uma execução ativa. Os parâmetros são imutáveis depois de registrados — eles definem a configuração do experimento e ajudam você a filtrar as execuções para encontrar a configuração que funcionou melhor.

Métricas são os resultados quantitativos produzidos durante e após o treinamento: precisão, F1 e valores de perda. Registre-as com mlflow.log_metric(key, value) ou mlflow.log_metric(key, value, step=i) para acompanhar o progresso ao longo das épocas. Registrar métricas a cada época permite que o MLflow trace curvas de aprendizado na interface, facilitando a comparação da velocidade de convergência entre as execuções.

Artefatos são arquivos associados a uma execução: pesos do modelo treinado, gráficos, matrizes de confusão ou gráficos de importância das características. Registre-os com mlflow.log_artifact(local_path). O MLflow armazena o arquivo no diretório de artefatos da execução e permite baixá-lo pela interface. Registrar a imagem da matriz de confusão junto com as métricas oferece aos revisores uma visão completa sem que precisem analisar o código.

Para o scikit-learn, o MLflow oferece o registro automático, que captura automaticamente todos os parâmetros, as métricas e o modelo treinado, sem nenhuma chamada manual de registro. Basta chamar mlflow.sklearn.autolog() antes do treinamento. O registro automático também é compatível com XGBoost, LightGBM, PyTorch, TensorFlow e outros, com uma ativação semelhante de uma única linha. É a maneira mais rápida de começar a acompanhar os experimentos sem modificar o código de treinamento existente.

Depois de realizar várias execuções com diferentes hiperparâmetros, abra a interface do MLflow em http://localhost:5000. Selecione várias execuções usando as caixas de seleção e clique em Comparar para visualizá-las lado a lado. A página de comparação exibe um gráfico de coordenadas paralelas em que cada eixo representa um parâmetro ou uma métrica, facilitando identificar qual combinação de parâmetros levou à maior precisão. Também é possível ordenar a tabela de execuções por qualquer coluna de métricas.

Além de registrar arquivos de modelo como artefatos genéricos, use mlflow.sklearn.log_model para registrar o modelo no formato padronizado do MLflow. Esse formato inclui o objeto do modelo, os metadados da sua variante e um arquivo de configuração MLmodel gerado automaticamente. O formato padronizado permite a implantação com um clique em servidores REST locais (mlflow models serve) e em plataformas de nuvem, como Azure ML e AWS SageMaker.

As execuções do MLflow podem ter etiquetas: metadados de chave e valor que vão além dos parâmetros e das métricas estruturados. Use etiquetas para armazenar a versão do conjunto de dados, o hash do commit do código, o nome da pessoa responsável pelo experimento ou observações sobre o que mudou. As etiquetas podem ser pesquisadas e filtradas na interface. Uma boa convenção de etiquetagem — como sempre registrar dataset_version e git_sha — garante que cada execução seja reproduzível e auditável mesmo meses depois.

Para colaborar em equipe, direcione o MLflow para um servidor remoto de acompanhamento em vez da pasta local mlruns/. Defina o URI de acompanhamento como a URL do seu servidor antes de fazer qualquer chamada ao MLflow. Todas as pessoas da equipe registram dados no mesmo servidor, veem as execuções umas das outras e acessam artefatos compartilhados. O back-end do servidor pode usar um banco de dados PostgreSQL para os metadados e S3/GCS para o armazenamento de artefatos, oferecendo durabilidade e controle de acesso de nível empresarial.

Nesta lição, você aprendeu que: o MLflow acompanha parâmetros, métricas e artefatos de cada execução de treinamento em um banco de dados pesquisável, mlflow.sklearn.autolog() captura tudo automaticamente, sem chamadas manuais de registro e os modelos registrados na variante sklearn podem ser disponibilizados como APIs REST ou promovidos pelo Registro de Modelos. A seguir, vamos criar contêineres Docker reproduzíveis para o treinamento de modelos de aprendizado de máquina, eliminando as diferenças de ambiente entre as máquinas.