> formation Technologies numériques > formation Développement logiciel > formation Python, C, C_plus_plus > formation Python, programmation parallèle et calcul distribué

Avis loadedNote : 4,2Length : 8TotalNote : 135TotalNote20 : 3
Toutes nos formations Python, C, C++

Formation Python, programmation parallèle et calcul distribué

4,2 / 5
Stage pratique
Durée : 4 jours
Réf : PYP
Prix  2021 : 2390 € H.T.
Pauses et déjeuners offerts
  • Programme
  • Participants / Prérequis
  • Intra / sur-mesure
  • avis clients
Programme

Le succès de Python pour les applications scientifiques (Data science, Big Data, Machine Learning...) requiert de plus en plus de capacités de calculs. Ce cours vous initie au paradigme du calcul parallèle/distribué, des concepts de base aux techniques et librairies les plus avancées de l’écosystème Python.

Objectifs pédagogiques

À l’issue de la formation, le participant sera en mesure de :
  • Acquérir les concepts de la programmation parallèle
  • Savoir identifier les portions d’un programme qui sont parallélisables
  • Posséder une vision claire de l’écosystème de calcul parallèle pour Python
  • Développer des applications parallélisées (programmation asynchrone, multithreading, multiprocessing, calcul distribué)
  • Savoir exécuter des calculs sur les GPU des cartes graphiques
  • Savoir exécuter un workflow de tâches dans le Cloud

Méthodes pédagogiques

70% du temps est consacré à la mise en pratique des concepts et librairies présentées. L’utilisation des notebooks Jupyter et l’exécution de code dans le Cloud apportent une réelle interactivité.
PROGRAMME DE FORMATION

Le parallélisme et son écosystème Python

  • Les différentes formes du parallélisme et ses architectures (CPU, GPU, ASIC, FPGA, NUMA, OpenMP, MPI... ).
  • Contraintes et limites.
  • L’écosystème de calcul parallèle pour Python.

Travaux pratiques
Profiling d’un programme (cProfile, Kcachegrind et pyprof2calltree). Compiler un programme C avec les instructions SIMD. Bien installer Numpy : comment obtenir un gain de vitesse x40.

Les bases : programmation asynchrone, multithreading et multiprocessing

  • Programmation asynchrone : générateurs et asyncio.
  • Multithreading : accès concurrents, verrous…
  • Limites du multithreading en Python.
  • Multiprocessing : mémoire partagée, pools de process, conditions...
  • Premier cluster de calcul distribué avec les Managers et Proxy.

Travaux pratiques
Réalisation d'une même chaîne de traitement de données avec chaque modèle et d’un cluster de calcul distribué entre les machines des participants.

Calcul distribué : Celery, Dask et PySpark

  • Concepts et configuration.
  • Mise en œuvre de chaque librairie.

Travaux pratiques
Plusieurs exercices seront abordés (calcul matriciel, traitement d’image/texte, Bitcoin, Machine Learning...). Utilisation des notebooks Zeppelin.

Calculer sur GPU

  • Les architectures GPU : kernels, mémoire, threads...
  • Les librairies OpenCL et CUDA.
  • Mise en œuvre des librairies Scikit-cuda, PyCUDA et Numba.

Travaux pratiques
Calcul matriciel et traitement d’images. Machine Learning avec la librairie mxnet : Neural Art. Compilation Just In Time.

Autres librairies de programmation parallèle

  • Message Passing Interface avec MPI4py.
  • PyOpenCL : implémenter un code avec des systèmes hétérogènes.
  • Joblib : Les pipelines légers.
  • Greenlets : vers un meilleur multithreading.
  • Pythran : Compiler vos programmes Python sur architectures multicœurs et vectorisées.

Travaux pratiques
Exercices de base avec chaque librairie.

Créer des workflows de tâches

  • Les primitives disponibles avec Celery, Dask et PySpark.
  • Créer et superviser des workflows avec les librairies Luigi et Airflow.

Travaux pratiques
Création de pipelines de traitements de données avec chaque librairie.

Exécuter des calculs dans le Cloud

  • Panorama de l’offre Internet pour le Cloud.
  • Administrer un cluster avec Ansible.

Travaux pratiques
Effectuer des calculs dans le Cloud.

Participants / Prérequis

» Participants

Développeurs, data scientists, data analysts, chefs de projets.

» Prérequis

Bonnes connaissances du langage Python et si possible de ses librairies scientifiques Numpy, Scipy et Pandas.
Prérequis : Passer le QCM Prérequis : Passer le QCM Prérequis : Passer le QCM
Intra / sur-mesure

Demande de devis intra-entreprise
(réponse sous 48h)

Vos coordonnées

En cochant cette case, j’atteste avoir lu et accepté les conditions liées à l’usage de mes données dans le cadre de la réglementation sur la protection des données à caractère personnel (RGPD).
Vous pouvez à tout moment modifier l’usage de vos données et exercer vos droits en envoyant un email à l’adresse rgpd@orsys.fr
En cochant cette case, j’accepte de recevoir les communications à vocation commerciale et promotionnelle de la part d’ORSYS Formation*
Vous pouvez à tout moment vous désinscrire en utilisant le lien de désabonnement inclus dans nos communications.
* Les participants inscrits à nos sessions de formation sont également susceptibles de recevoir nos communications avec la possibilité de se désabonner à tout moment.
Avis clients
picto avis clients
CHARLES C. 08/06/2021
5 / 5
Le formateur présente clairement les compétences et l’expérience nécessaires pour dispenser cette formation. Il veut par moment trop en dire et je perd dans son organisation. Les supports sont très fournis, complets. Peut-être trop. Beaucoup de sujets à aborder en seulement 4 jours. Certains supports demanderait à être mis à jour. Sujet difficile au vue de l’évolution constante des outils présent[ea
LE P. 08/06/2021
5 / 5
Très complet, assez technique, formateur très compétent.
YANNICK T. 08/06/2021
4 / 5
Les exercices sont très applicatifs et ludiques mais parfois perdent de vue l’objectif initial (e.g. l’exercice sur le crackage des mots de passe). On aurait pu passer plus de temps sur les aspects théoriques ou pratiques mais avec des exemples plus ciblés. Le problème avec ces exemples ludiques et applicatifs est qu’ils consomment pas mal de temps sans forcement apporter sur le fond de la formation (ici le calcul parallele)
Afficher plus d’avis
LOÏC O. 08/06/2021
4 / 5
Bonne pédagogie, sujet maitrisé et supports complets, mais souvent balayés trop vite. Plus de temps à accorder en autonomie aux exercices pratiques seraient le bienvenu. Un fil conducteur sur les TP serait intéressant.
CYRILLE G. 08/06/2021
4 / 5
Contenu très riche, utilisation des notebooks jupyter très pratique pour pendant et après formation
CHIHEB EDDINE L. 08/12/2020
4 / 5
Bonne formation. Mais je pense que 4 jours ce n’est pas suffisant car les sujets sont assez larges et on peut voir beaucoup de choses.
ALEXANDRE S. 08/12/2020
5 / 5
Excellent contenu, jolie découverte d’un monde que je connaissais très peu. Avec un beau plus sur l’utilisation de notebook jupyter partagé. Gaël a fait en sorte de bien accompagner chacun des participants. Le contenu est largement trop étendu pour être vu en 4 jours. Sans étendre la durée de la formation, demander le principal sujet intérêt de chacun des intervenants avant le début serait un m
ERIC G. 08/12/2020
4 / 5
le formateur maitrise son sujet comme il y a beaucoup de sujets et qu’il y a matière à approfondir pendant les exercices, à la fin le temps manque
Avis clients 4,2 / 5

Les avis clients sont issus des feuilles d’évaluation de fin de formation. La note est calculée à partir de l’ensemble des avis datant de moins de 12 mois.

CLASSE A DISTANCE

En inter et en intra-entreprise
Inscrivez-vous ou contactez-nous !

Pour vous inscrire

Cliquez sur la ville, puis sur la date de votre choix.
[+]
CLASSE A DISTANCE
[+]
PARIS
[+]
LYON

Horaires

Les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45.
Pour les stages pratiques de 4 ou 5 jours, les sessions se terminent à 15h30 le dernier jour.