Nos domaines de formation :

Formation MapReduce, appliquer le paradigme dans tous les langages et le transposer sous Hadoop
E-learning

Stage pratique
100% à distance
Durée : 2 heures 33 mn
Réf : 4TP
Prix  2019 : 25 € H.T.
  • Programme
  • Participants / Prérequis
Programme

Cette vidéo a pour vocation de présenter le paradigme MapReduce, ses spécificités et ses finalités. Après une étude succincte de la théorie du paradigme MapReduce, notamment le rôle des deux fonctions essentielles : la fonction map() et la fonction reduce(), nous l'appliquerons sur un exemple simple et concret. Aussi, nous analyserons en MapReduce des journaux Apache communément appelés access log et ce dans plusieurs langages : Java, Scala, mais également Python, JavaScript, PHP et même Bash ! Dans un second temps, nous nous focaliserons sur les fonctions MapReduce au sein de la plateforme Big Data Hadoop. Après avoir étudié leur fonctionnement au sein du framework d'Apache, nous exécuterons un exemple développé en Java, puis regarderons comment lancer un MapReduce programmé précédemment dans n'importe quel langage grâce à Hadoop Streaming. Nous utiliserons également Hadoop Pipes pour faire fonctionner un MapReduce codé en C++. Enfin, nous développerons des fonctions MapReduce plus complexes afin de nous familiariser avec les notions avancées du paradigme et de nous entraîner à la façon de penser pour concevoir des algorithmes performants. Les notions de jointures, de secondary sort ou de clé composite seront alors présentées. Nous finirons par des outils permettant de multiplier nos possibilités, en combinant les fonctions MapReduce avec Sqoop pour l'échange de données avec MySQL et Oozie pour automatiser les workflows.

PROGRAMME DE FORMATION

Présentation du paradigme MapReduce

  • Histoire du paradigme MapReduce
  • Principe général
  • Fonction map() en détails
  • Fonction reduce() en détails

MapReduce dans différents langages

  • Analyse des journaux d’accès : Cas d’un MapReduce simple
  • Développement de notre MapReduce en Java
  • Développement de notre MapReduce en Scala
  • Développement de notre MapReduce en Python
  • Développement de notre MapReduce en JavaScript
  • Développement de notre MapReduce en PHP
  • Développement de notre MapReduce en Bash

MapReduce dans Hadoop

  • Implémentation des MapReduce sous YARN
  • Adaptation de notre code Java pour Hadoop
  • Suivi de l’évolution du job sous Hadoop
  • Hadoop streaming : Lancement de nos autres MapReduce grâce à des exécutables
  • Hadoop Pipes : Exécution de MapReduce en C++

Exemples avancés de MapReduce

  • Compter le nombre de visiteurs uniques par page
  • Opérer une jointure de données
  • Utiliser une clé composite
  • Réaliser un tri secondaire (secondary sort)

Plus loin grâce à Hadoop

  • Compteurs
  • Journaux
  • Importation/exportation des données de MySQL grâce à Sqoop
  • Réalisation des workflows de MapReduce grâce à Oozie
Participants / Prérequis

» Participants

Cette vidéo de formation s'adresse à tous les développeurs et administrateurs système.

» Prérequis

Aucune connaissance particulière.
Intra / sur-mesure

Demande de devis intra-entreprise
(réponse sous 48h)

Vos coordonnées

En cochant cette case, j’atteste avoir lu et accepté les conditions liées à l’usage de mes données dans le cadre de la réglementation sur la protection des données à caractère personnel (RGPD).
Vous pouvez à tout moment modifier l’usage de vos données et exercer vos droits en envoyant un email à l’adresse rgpd@orsys.fr
En cochant cette case, j’accepte de recevoir les communications à vocation commerciale et promotionnelle de la part d’ORSYS Formation*
Vous pouvez à tout moment vous désinscrire en utilisant le lien de désabonnement inclus dans nos communications.
* Les participants inscrits à nos sessions de formation sont également susceptibles de recevoir nos communications avec la possibilité de se désabonner à tout moment.