Experimentuppföljning med MLflow: Logga parametrar, mått och artefakter

När ni tränar flera modeller med olika hyperparametrar är det lätt att tappa bort vilken körning som gav bäst resultat. Experiment­spårning registrerar automatiskt parametrarna, mätvärdena och kodversionen för varje träningskörning i en sökbar databas. Utan detta tvingas team ofta använda röriga kalkylblad eller glömmer helt enkelt vad som fungerade. MLflow är branschens standardverktyg med öppen källkod för att spåra ML-experiment och hantera modellens livscykel.

MLflow är ett rent Python-paket som inte kräver någon extern databas för att komma igång – körningar lagras lokalt i en katalog med namnet mlruns/. Installera paketet med pip och starta sedan spårningsgränssnittet för att visualisera körningar i en webbläsare. Gränssnittet visar alla experiment, parametrarna och mätvärdena för varje körning och låter er jämföra körningar sida vid sida med interaktiva diagram.

MLflow organiserar körningar i experiment – logiska grupperingar av relaterade körningar. Skapa ett namngivet experiment med mlflow.set_experiment. Alla efterföljande körningar hör till detta experiment. Använd beskrivande namn som identifierar projektet och datumet, till exempel 'random_forest_imdb_2024'. Varje körning i ett experiment får ett unikt ID, ett namn som människor kan läsa och ett eget lager för parametrar, mätvärden och artefakter.

Parametrar är de konfigurationsval som görs innan träningen börjar: hyperparametrar som inlärningshastighet, antal estimatorer och regulariseringsstyrka. Logga dem med mlflow.log_param(key, value) i en aktiv körningskontext. Parametrar är oföränderliga när de väl har loggats – de definierar experimentets konfiguration och hjälper er att filtrera körningar för att hitta den konfiguration som fungerade bäst.

Mätvärden är de kvantitativa resultat som produceras under och efter träningen: träffsäkerhet, F1 och förlustvärden. Logga dem med mlflow.log_metric(key, value) eller mlflow.log_metric(key, value, step=i) för att följa utvecklingen över epokerna. Genom att logga mätvärden vid varje epok kan MLflow rita inlärningskurvor i gränssnittet, vilket gör det enkelt att jämföra konvergenshastigheten mellan körningar.

Artefakter är filer som hör till en körning: tränade modellvikter, diagram, förväxlingsmatriser eller diagram över egenskapernas betydelse. Logga dem med mlflow.log_artifact(local_path). MLflow lagrar filen i körningens artefaktkatalog och gör den nedladdningsbar från användargränssnittet. Genom att logga bilden av förväxlingsmatrisen tillsammans med mätvärdena får granskare en fullständig bild utan att behöva gå igenom koden.

För scikit-learn tillhandahåller MLflow automatisk loggning som automatiskt fångar alla parametrar, mätvärden och den tränade modellen utan manuella loggningsanrop. Anropa helt enkelt mlflow.sklearn.autolog() innan träningen startas. Automatisk loggning stöder XGBoost, LightGBM, PyTorch, TensorFlow med flera, med liknande aktivering på en rad. Det är det snabbaste sättet att börja spåra körningar utan att ändra befintlig träningskod.

Efter flera körningar med olika hyperparametrar öppnar du MLflows användargränssnitt på http://localhost:5000. Markera flera körningar med kryssrutorna och klicka på Compare för att visa dem sida vid sida. På jämförelsesidan visas ett diagram med parallella koordinater där varje axel motsvarar en parameter eller ett mätvärde. Det gör det enkelt att se vilken kombination av parametrar som gav högst träffsäkerhet. Du kan också sortera körningstabellen efter valfri kolumn med mätvärden.

Utöver att logga modellfiler som generiska artefakter använder du mlflow.sklearn.log_model för att logga modellen i MLflows standardiserade format. Formatet innehåller modellobjektet, metadata för dess variant och en automatiskt genererad konfigurationsfil med namnet MLmodel. Det standardiserade formatet möjliggör distribution med ett klick till lokala REST-servrar (mlflow models serve) och molnplattformar som Azure ML och AWS SageMaker.

MLflow-körningar kan ha taggar: metadata i nyckel-värde-format som går utöver strukturerade parametrar och mätvärden. Använd taggar för att lagra datauppsättningens version, hashvärdet för kodincheckningen, experimenterarens namn eller anteckningar om vad som ändrades. Taggar kan sökas efter och filtreras i användargränssnittet. En bra taggningskonvention — till exempel att alltid logga dataset_version och git_sha — säkerställer att varje körning går att återskapa och granska även flera månader senare.

För samarbete i team konfigurerar du MLflow att använda en fjärrbaserad spårningsserver i stället för den lokala mappen mlruns/. Ange spårnings-URI:n till serverns URL innan du gör några MLflow-anrop. Alla teammedlemmar loggar till samma server, kan se varandras körningar och får åtkomst till delade artefakter. Serverns backend kan använda en PostgreSQL-databas för metadata och S3/GCS för artefaktlagring, vilket ger hållbarhet och åtkomstkontroll på företagsnivå.

I den här lektionen har du lärt dig att: MLflow spårar parametrar, mätvärden och artefakter för varje träningskörning i en sökbar databas, mlflow.sklearn.autolog() fångar allt automatiskt utan manuella loggningsanrop och loggade modeller i sklearn-varianten kan tillhandahållas som REST-API:er eller befordras genom Model Registry. Nästa steg är att bygga återskapningsbara Docker-containrar för ML-träning för att eliminera miljöskillnader mellan datorer.