In deze handleiding wordt kruisvalidatie en de werking ervan met behulp van AWS Service uitgelegd.
Wat is kruisvalidatie?
Met kruisvalidatie kunnen ontwikkelaars verschillende modellen voor machine learning vergelijken en een idee krijgen van hoe ze in het echte leven werken. Het helpt de gebruiker om erachter te komen welk Machine Learning (ML) of Deep Learning (DL) model beter zal werken voor een bepaalde data of scenario. Er zijn situaties waarin meerdere modellen kunnen worden gebruikt voor één dataset, hier gebruiken ontwikkelaars kruisvalidatie om een geschikt model te krijgen voor optimale resultaten:
Hoe werkt kruisvalidatie?
Om de ML-modellen op een dataset te controleren, moet de gebruiker de kenmerken van het model inschatten, wat training van het algoritme wordt genoemd. Een ander ding om te controleren is de evaluatie van het model om te zien hoe goed het presteerde en dit wordt het testen van het model genoemd. Het is geen goed idee om het model op alle gegevens te testen, maar we gebruiken 75% van de gegevens voor training en 25% voor testen om betere resultaten te krijgen. Kruisvalidatie voert tests uit op elke 25% van de gegevens om te controleren welk blok het beste presteert:
Wat is Amazon SageMaker?
Kruisvalidatie in AWS kan worden gedaan met behulp van de Amazon SageMaker-service, aangezien deze is ontworpen om machine learning-modellen te bouwen, trainen en implementeren. Het helpt datawetenschappers en ontwikkelaars om gegevens voor te bereiden voor het bouwen van efficiënte ML- of DL-modellen door speciaal gebouwde mogelijkheden samen te brengen. Deze mogelijkheden zijn handig om geoptimaliseerde en nauwkeurige modellen te bouwen die in de loop van de tijd kunnen verbeteren:
Kenmerken van Amazon SageMaker
Amazon SageMaker is een beheerde service en vereist geen beheer van ML-omgevingen. Het heeft veel gegevens nodig om ML-modellen te trainen en te bouwen, zodat het goed aansluit op de Amazon S3- of Amazon Redshift-services om gegevens te verzamelen. Ruwe gegevens kunnen moeilijk zijn om informatie uit te halen, dus het vereist ook functies om modellen te bouwen. Gebruik vervolgens de gegevens om modellen te trainen en voer er vervolgens tests op uit met elke 25% van de gegevens om betere resultaten/voorspellingen te krijgen:
Dat is alles over kruisvalidatie in AWS.
Conclusie
Kruisvalidatie is het proces waarbij het optimale machine learning- of deep learning-model voor de gegevens wordt verkregen om betere resultaten te krijgen. Het zal testen uitvoeren voor elke 25% sectie van de gegevens om te begrijpen welk blok de maximale output levert, waardoor het een geschikt passend model wordt. AWS biedt de SageMaker-service om kruisvalidatie uit te voeren en machine learning-modellen in de cloud te bouwen. Deze gids heeft het kruisvalidatieproces en de werking ervan in AWS uitgelegd.