Experimenten bijhouden met MLflow: parameters, metrieken en artefacts loggen

Wanneer je meerdere modellen met verschillende hyperparameters traint, raak je gemakkelijk kwijt welke run het beste resultaat opleverde. Het bijhouden van experimenten registreert automatisch de parameters, metrieken en codeversie van elke trainingsrun in een doorzoekbare database. Zonder deze registratie zijn teams aangewezen op rommelige spreadsheets of vergeten ze simpelweg wat werkte. MLflow is de industriestandaard open-sourcetool voor het bijhouden van ML-experimenten en het beheren van de levenscyclus van modellen.

MLflow is een puur Python-pakket waarvoor je om te beginnen geen externe database nodig hebt — runs worden lokaal opgeslagen in een map mlruns/. Installeer het met pip en start vervolgens de trackinginterface om runs in een browser te visualiseren. De interface toont alle experimenten, de parameters en metrieken van elke run en laat je runs naast elkaar vergelijken met interactieve grafieken.

MLflow ordent runs in experimenten — logische groepen van gerelateerde runs. Maak een experiment met een naam aan met mlflow.set_experiment. Alle volgende runs horen bij dit experiment. Gebruik beschrijvende namen die het project en de datum aangeven, bijvoorbeeld 'random_forest_imdb_2024'. Elke run binnen een experiment krijgt een unieke ID, een voor mensen leesbare naam en een eigen opslag voor parameters, metrieken en artefacten.

Parameters zijn de configuratiekeuzes die je maakt voordat de training begint: hyperparameters zoals learning rate, het aantal estimators en de sterkte van de regularisatie. Log ze met mlflow.log_param(key, value) binnen de context van een actieve run. Parameters kunnen na het loggen niet meer worden gewijzigd — ze definiëren de experimentele opzet en helpen je runs te filteren om de configuratie te vinden die het beste werkte.

Metrieken zijn de kwantitatieve resultaten die tijdens en na de training worden geproduceerd: nauwkeurigheid, F1 en losswaarden. Log ze met mlflow.log_metric(key, value) of mlflow.log_metric(key, value, step=i) om de voortgang per epoch bij te houden. Door metrieken bij elke epoch te loggen, kan MLflow leercurves in de interface weergeven, waardoor je de convergentiesnelheid van runs eenvoudig kunt vergelijken.

Artefacten zijn bestanden die bij een run horen: gewichten van getrainde modellen, grafieken, verwarringsmatrices of grafieken met kenmerkbelang. Registreer ze met mlflow.log_artifact(local_path). MLflow slaat het bestand op in de artefactmap van de run en maakt het vanuit de gebruikersinterface downloadbaar. Door de afbeelding van de verwarringsmatrix samen met de metrieken te registreren, krijgen beoordelaars een volledig beeld zonder in de code te hoeven duiken.

Voor scikit-learn biedt MLflow automatisch loggen, waarbij alle parameters, metrieken en het getrainde model automatisch worden vastgelegd zonder handmatige aanroepen om gegevens te registreren. Roep eenvoudig mlflow.sklearn.autolog() aan voordat je het model fit. Automatisch loggen ondersteunt ook XGBoost, LightGBM, PyTorch, TensorFlow en meer, met een vergelijkbare activering van één regel. Dit is de snelste manier om te beginnen met bijhouden zonder bestaande trainingscode aan te passen.

Open na meerdere runs met verschillende hyperparameters de MLflow-gebruikersinterface op http://localhost:5000. Selecteer meerdere runs met selectievakjes en klik op Vergelijken om ze naast elkaar te bekijken. De vergelijkingspagina toont een grafiek met parallelle coördinaten, waarin elke as een parameter of metriek vertegenwoordigt. Zo zie je eenvoudig welke parametercombinatie tot de hoogste nauwkeurigheid leidde. Je kunt de runtabel ook sorteren op elke metriekkolom.

Gebruik naast het registreren van modelbestanden als algemene artefacten mlflow.sklearn.log_model om het model te registreren in de gestandaardiseerde indeling van MLflow. Deze indeling bevat het modelobject, de metadata van de modelvariant en een automatisch gegenereerd MLmodel-configuratiebestand. Dankzij deze gestandaardiseerde indeling kun je modellen met één klik implementeren op lokale REST-servers (mlflow models serve) en cloudplatforms zoals Azure ML en AWS SageMaker.

MLflow-runs kunnen labels hebben: metadata in de vorm van sleutel-waardeparen die verder gaat dan gestructureerde parameters en metrieken. Gebruik labels om de versie van de gegevensset, de hash van de codecommit, de naam van de onderzoeker of notities over wijzigingen op te slaan. Labels kunnen in de gebruikersinterface worden doorzocht en gefilterd. Een goede labelconventie — bijvoorbeeld altijd dataset_version en git_sha registreren — zorgt ervoor dat elke run maanden later reproduceerbaar en controleerbaar is.

Richt MLflow voor samenwerking binnen een team op een externe trackingserver in plaats van op de lokale map mlruns/. Stel de tracking-URI in op de URL van je server voordat je MLflow aanroept. Alle teamleden registreren gegevens op dezelfde server, zien elkaars runs en hebben toegang tot gedeelde artefacten. De backend van de server kan een PostgreSQL-database gebruiken voor metadata en S3/GCS voor artefactopslag. Zo krijg je duurzaamheid en toegangsbeheer op ondernemingsniveau.

In deze les heb je geleerd dat MLflow parameters, metrieken en artefacten voor elke trainingsrun bijhoudt in een doorzoekbare database, dat mlflow.sklearn.autolog() alles automatisch vastlegt zonder handmatige aanroepen om gegevens te registreren en dat geregistreerde modellen in de sklearn-modelvariant als REST-API's kunnen worden aangeboden of via het Model Registry kunnen worden gepromoveerd. Hierna bouwen we reproduceerbare Docker-containers voor ML-training om omgevingsverschillen tussen machines te elimineren.