Comme tout bon scripteur fou qui se respecte, vous avez cr\u00e9\u00e9 de belles usines \u00e0 gaz qui manipulent de gros volumes de donn\u00e9es. Mais quand le traitement se compte en heures ou en jours, \u00e7a devient vraiment gal\u00e8re ! Et si on parall\u00e9lisait les traitements ?<\/p>\n\n\n\n
L’id\u00e9e derri\u00e8re le multi-threading est de d\u00e9couper le traitement en lots ind\u00e9pendants que l’on pourra ex\u00e9cuter en parall\u00e8le. A la fin, on consolide les r\u00e9sultats et c’est gagn\u00e9 \ud83d\ude42<\/p>\n\n\n\n
Vous l’aurez compris, en pr\u00e9requis il faut pouvoir d\u00e9composer les actions en groupes ind\u00e9pendants. Pour cela il faut que le traitement \u00e0 parall\u00e9liser puisse \u00eatre d\u00e9plac\u00e9 dans une fonction ou un script d\u00e9di\u00e9. Prenons un exemple : vous extrayez la liste de vos site SharePoint et pour chaque site, vous voulez auditer les permissions. L’audit des permissions de chaque site est bien une actions ind\u00e9pendante pour chaque site. On a alors deux scripts:<\/p>\n\n\n\n
Techniquement, il existe plusieurs m\u00e9thode pour faire du multi-threading en PowerShell mais nous nous concentrerons sur la m\u00e9thode la plus simple et la plus int\u00e9gr\u00e9e : Les PSJob<\/strong>. Ils sont int\u00e9gr\u00e9s directement depuis PowerShell version 3. L’autre m\u00e9thode, les Runspaces<\/strong> sont plus efficace mais un peu plus complexes \u00e0 mettre en \u0153uvre et \u00e0 g\u00e9rer car il faut appeler les classes .NET en direct. Premi\u00e8re \u00e9tape : je d\u00e9marre les processus enfants<\/p>\n\n\n\n Deuxi\u00e8me \u00e9tape : on attend la fin de l’ex\u00e9cution des processus<\/p>\n\n\n\n Et pour finir, on regarde des processus qui on eut des erreurs<\/p>\n\n\n\n Si vous voulez limiter le nombre de processus qui s’ex\u00e9cuteront en parall\u00e8le, il faut se donner une limite. Gr\u00e2ce a elle on ajoute une condition afin de ne pas d\u00e9marrer plus de processus que la limite tant que d’autres processus ne se sont pas termin\u00e9s<\/p>\n\n\n\n Cmd-let PowerShell :<\/p>\n\n\n\n
La derni\u00e8re approche consiste \u00e0 cr\u00e9er des scripts de type Workflow. Ils int\u00e8grent nativement des fonctions de traitement parall\u00e8le, mais cela n\u00e9cessite de revoir un peu sa mani\u00e8re coder.<\/p>\n\n\n\n# Je cr\u00e9\u00e9 la liste des arguments \u00e0 passer (pour la lisibilit\u00e9)\n$myargs = @($param1Value, $param2Value)\n# Je cr\u00e9\u00e9 un nouveau job en appelant mon script avec ses param\u00e8tres\n$newJob = start-job -filepath \"$($currdir)\\myChildScript.ps1\" -argumentlist $myargs\n# Je consolide les jobs dans une liste\n$jobList += $newJob<\/code><\/pre>\n\n\n\n# Wait for remaining jobs to finish\nwhile (@($jobList |? {$_.state -like 'Running'}).count -gt 0) {\n $progress = @($jobList |? {$_.state -notlike 'Running'}).count\n Write-progress -activity \"Processing Sites (with $maxThreadCount threads)\" -status \"Finishing threads\" -PercentComplete ($progress*100\/$urlList.count) -id 1\n start-sleep -seconds 10\n}<\/code><\/pre>\n\n\n\n# Collect Errors logs\n$errors = @($jobList |? {$_.state -like 'Failed'} |Receive-Job)\nif ($errors.count -gt 0) {\n Write-log (\"{0} thread failed: {1]\" -f $errors.count, ($errors.id -join ',')) \"ERROR\"\n}<\/code><\/pre>\n\n\n\nEt pour aller plus loin<\/h2>\n\n\n\n
if (@($jobList |? {$_.state -like 'Running'}).count -le $maxThreadCount) {\n # Je d\u00e9marre mes processus enfants\n} else {\n # MaxThreadCount reached\n start-sleep -seconds 1\n}<\/code><\/pre>\n\n\n\nR\u00e9f\u00e9rences<\/h2>\n\n\n\n