Zoeken wordt uitgevoerd in MLflow

• Experiment-ID of naam
• Run-ID
• Parameters en waarden
• Statistieken en waarden
• Labels
• Andere kenmerken die aan de runs zijn gekoppeld

Uitvoeringen kunnen worden gefilterd op status, starttijd, eindtijd en duur met behulp van de MLflow-zoek-API. Het maakt het gemakkelijker om door veel runs te filteren en specifieke runs te vinden waarin de gebruikers geïnteresseerd zijn.

MLflow-zoekfunctie

Gebruik de functie mlflow.search_runs() om toegang te krijgen tot de MLflow-zoek-API. Deze functie accepteert verschillende argumenten, zoals de volgende:

• De experiment-ID of naam
• Filterreeks of tekst
• Het maximale aantal runs dat moet worden geretourneerd, wordt opgegeven door het argument max_results

Een vereenvoudigde variant van de SQL-clausule (Structured Query Language) WHERE is de filtertekenreeks of -tekst. Het kan worden gebruikt om de criteria aan te geven waarop we de runs willen sorteren.

Syntaxis van de MLflow Search_Runs()-functie

In het volgende voorbeeld moet de feitelijke ID of naam van het experiment waarin we willen zoeken, worden vervangen door 'experiment_id of experiment_name'. Met de variabele search_criteria kunt u de zoekcriteria naar wens invoeren. Deze criteria kunnen worden bepaald door statistieken, tags, parameters of aanvullende kenmerken. De basissyntaxis van de functie search_runs() is als volgt:

Voer een zoekopdracht uit met behulp van talrijke criteria

1. Zoek op metrische waarde

Uitvoeringen kunnen worden gefilterd op de waarden van bepaalde statistieken met behulp van het metrische veld in de MLflow-zoek-API. In het veld Metrieken verschijnt een verzameling metrieknamen, gescheiden door komma's. De volgende filterreeks lokaliseert bijvoorbeeld alle runs met een nauwkeurigheidswaarde groter dan 0,9:

De volledige lijst met statistieken die beschikbaar zijn voor gebruik in het veld Metrieken wordt als volgt weergegeven:

• nauwkeurigheid
• au
• f1
• precisie
• herinneren
• kaart
• logverlies
• classificatie_fout
• multi_class_logloss

Bovendien kunnen de gebruikers de runs filteren op het waardenbereik van een statistiek met behulp van het metrische veld. De volgende filterreeks lokaliseert bijvoorbeeld alle runs die een nauwkeurigheidsmeting hebben met een waarde tussen 0,4 en 0,8:

In het metrische veld combineren de AND- en OR-operatoren de metrische gegevens om de runs te vinden met metrische nauwkeurigheid en f1-waarden boven 0,3 en 0,8:

2. Zoek op parameterwaarde

Maak gebruik van het veld params in de MLflow-zoek-API om een ​​zoekopdracht uit te voeren op basis van een parameterwaarde. De parameternamen en -waarden worden met komma's weergegeven in het paramsveld. In dit voorbeeld lokaliseert de bovengenoemde filterreeks alle runs met de parameter num_boost_round die de waarde 100 hebben:

Nog enkele voorbeelden van zoekreeksen voor parameterwaarden:

• params.num_boost_round = 900
• params.learning_rate TUSSEN 0,001 EN 0,01
• params.num_boost_round=’70’ EN params.learning_rate=’0.01′

3. Zoeken op tags

Hier is een voorbeeld van een zoekopdracht met tags:

Voorbeeld van de matrix- en parameterwaarden om de functie Mlflow.search_runs() uit te voeren

Laten we een voorbeeld bekijken van het opzetten van een MLflow-experiment, het loggen van runs en het vervolgens gebruiken van mlflow.search_runs() om een ​​zoekopdracht te starten. Volg deze stappen om de code volledig te begrijpen:

Stap 1: Maak een MLflow-experiment

We beginnen met het opzetten van een MLflow-experiment. Het haalt het bestaande experiment op als het experiment al bestaat. Als dit niet het geval is, wordt er een nieuwe gemaakt.

Code-uitleg:

De MLflow-bibliotheek wordt geïmporteerd in de eerste regel van de code en de experimentnaam wordt op de volgende regel ingesteld op 'Mijn eerste MLflow-experiment'. Wanneer de experiment_name wordt doorgegeven aan de functie “mlflow.get_experiment_by_name”, retourneert die functie “None” als het experiment niet bestaat en anders een object van het experiment.

Controleer of het experiment bestaat in de voorwaardelijke verklaring. Als het experiment al bestaat, stelt u experiment_id in. Gebruik anders “mlflow.create_experiment” om een ​​nieuw experiment te maken. De experiment-ID wordt door deze functie geretourneerd. Geef aan het einde van het experiment de experiment-ID weer op de console of het terminalscherm. Kopieer de volgende code in het kladblok en sla het bestand op met de gewenste naam en met de extensie “.py”:

Start nu het programma in de opdrachtprompt of het terminalvenster met behulp van de Python-compiler en typ 'Python' en vervolgens de bestandsnaam die in dit geval 'MyFirstMlflowExperiment.py' is. Wanneer het experiment voor het eerst wordt uitgevoerd, bestaat het nog niet. MLFlow maakt er dus een en drukt de experiment-ID af op het consolescherm:

Voer de code opnieuw uit om te verifiëren dat er geen nieuwe experimenten worden gemaakt en om de ID weer te geven van de experimenten die al bestaan. De volgende schermafbeelding laat zien dat het experiment al bestaat:

Stap 2: Registreer de runs met statistieken en parameters

Laten we nu proberen enkele runs te loggen met de statistieken en parameters voor het zojuist opgezette experiment. In een realistisch scenario ontwikkelen we de machine learning-modellen en leggen we aan het einde van elke run de relevante informatie vast, zoals statistieken en parameters. Hier wordt de nauwkeurigheid als matrixwaarde gebruikt, in dit geval is deze 0,95. De parameterwaarden voor leer- en efficiëntiepercentage zijn respectievelijk 0,01 en 90. Hier is de code:

Het resultaat, wanneer de bovengenoemde code wordt uitgevoerd, is hier te zien. Het resultaat is hetzelfde als voorheen:

Stap 3: Voer een zoekopdracht uit met Mlflow.search_runs()

Ten slotte voeren we een zoekopdracht uit op de runs die zijn geregistreerd met behulp van een paar parameters en tonen we de resultaten op het terminalscherm:

Een waarschuwing die betrekking heeft op de Git-tool wordt geproduceerd door de uitvoering van de search_runs-functie:

Voeg wat code toe bovenaan het Python-bestand om deze waarschuwing uit te schakelen. Hier is het korte gedeelte van de code:

De functie “mlflow.search_runs” wordt met succes uitgevoerd zodra deze coderegels zijn toegevoegd:

Conclusie

Met de functie “mlflow.search_runs” kunnen gebruikers snel de machine learning-experimenten verkennen en evalueren, veel runs analyseren en de optimale hyperparametervariaties of -modellen lokaliseren die tot de gewenste resultaten leiden. Het is een effectief hulpmiddel voor het toezicht houden op, plannen en analyseren van de machine learning-workflow.