> formation Technologies numériques > formation Big Data, Intelligence Artificielle > formation Big Data, NoSQL > formation Hadoop, installation et administration

Avis loadedNote : 4,3Length : 17TotalNote : 295TotalNote20 : 11
Toutes nos formations Big Data, NoSQL

Formation Hadoop, installation et administration

4,3 / 5
Stage pratique
Durée : 4 jours
Réf : HOD
Prix  2021 : 2710 € H.T.
Pauses et déjeuners offerts
  • Programme
  • Participants / Prérequis
  • Intra / sur-mesure
  • avis clients
Programme

La plateforme Apache Hadoop est la première solution a avoir réellement rendu possibles des traitements (distribués) sur d'énormes quantités de données. Ce cours vous montrera comment installer, configurer et administrer un cluster Hadoop ainsi que d'autres composants de l'écosystème (Hive, Pig, HBase, Flume...).

Objectifs pédagogiques

À l’issue de la formation, le participant sera en mesure de :
  • Découvrir les concepts et les enjeux liés à Hadoop
  • Comprendre le fonctionnement de la plateforme et de ses composants
  • Installer la plateforme et la gérer
  • Optimiser la plateforme

Travaux pratiques

Installation du cluster Hadoop et paramétrage.

Méthodes pédagogiques

Méthode pédagogique de type "magistrale" avec des exercices pratiques à l'appui, après chaque notion ou groupe de notions exposées.
PROGRAMME DE FORMATION

Présentation du framework Apache Hadoop

  • Enjeux du Big Data et apports du framework Hadoop.
  • Présentation de l'architecture Hadoop.
  • Description des principaux composants de la plateforme Hadoop.
  • Présentation des distributions principales du marché et des outils complémentaires (Cloudera, MapR, Dataiku...).
  • Avantages/inconvénients de la plateforme.

Préparations et configuration du cluster Hadoop

  • Principes de fonctionnement de Hadoop Distributed File System (HDFS).
  • Principes de fonctionnement de MapReduce.
  • Design "type" du cluster.
  • Critères de choix du matériel.

Travaux pratiques
Configuration du cluster Hadoop.

Installation d'une plateforme Hadoop

  • Type de déploiement.
  • Installation d'Hadoop.
  • Installation d'autres composants (Hive, Pig, HBase, Flume...).

Travaux pratiques
Installation d'une plateforme Hadoop et des composants principaux.

Gestion d'un cluster Hadoop

  • Gestion des nœuds du cluster Hadoop.
  • Les TaskTracker, JobTracker pour MapReduce.
  • Gestion des tâches via les schedulers.
  • Gestion des logs.
  • Utiliser un manager.

Travaux pratiques
Lister les jobs, statut des queues, statut des jobs, gestion des tâches, accès à la Web UI.

Gestion des données dans HDFS

  • Import de données externes (fichiers, bases de données relationnelles) vers HDFS.
  • Manipulation des fichiers HDFS.

Travaux pratiques
Importer des données externes avec Flume, consulter des bases de données relationnelles avec Sqoop.

Configuration avancée

  • Gestion des autorisations et de la sécurité.
  • Reprise sur échec d'un name node (MRV1).
  • NameNode high availability (MRV2/YARN).

Travaux pratiques
Configuration d'un service-level authentication (SLA) et d'un Access Control List (ACL).

Monitoring et optimisation Tuning

  • Monitoring (Ambari, Ganglia...).
  • Benchmarking/profiling d'un cluster.
  • Les outils Apache GridMix, Vaaidya.
  • Choisir la taille des blocs.
  • Autres options de tuning (utilisation de la compression, configuration mémoire...).

Travaux pratiques
Appréhender les commandes au fil de l'eau de monitoring et d'optimisation de cluster.

Participants / Prérequis

» Participants

Administrateurs de cluster Hadoop, développeurs.

» Prérequis

Bonnes connaissances de l'administration Linux. Expérience requise.
Intra / sur-mesure

Demande de devis intra-entreprise
(réponse sous 48h)

Vos coordonnées

En cochant cette case, j’atteste avoir lu et accepté les conditions liées à l’usage de mes données dans le cadre de la réglementation sur la protection des données à caractère personnel (RGPD).
Vous pouvez à tout moment modifier l’usage de vos données et exercer vos droits en envoyant un email à l’adresse rgpd@orsys.fr
En cochant cette case, j’accepte de recevoir les communications à vocation commerciale et promotionnelle de la part d’ORSYS Formation*
Vous pouvez à tout moment vous désinscrire en utilisant le lien de désabonnement inclus dans nos communications.
* Les participants inscrits à nos sessions de formation sont également susceptibles de recevoir nos communications avec la possibilité de se désabonner à tout moment.
Avis clients
picto avis clients
JEAN-CHARLES B. 28/07/2021
5 / 5
Formateur très agréable et compétent. Un vrai plaisir de le côtoyer.

JEAN-CHARLES B. 21/07/2021
5 / 5
Très bon complèment à la formation de départ, celle ci vient remplir les manques de celle ci.

LIONEL L. 21/07/2021
5 / 5
adapter au contenu attendu sur l’administration d’un cluster Hadoop

AURORE D. 08/06/2021
5 / 5
J’ai eu peur vu le retour de mes collègues. Merci d’avoir changé le cours, si c’est une volonté d’Orsys.

HASSEN D. 08/06/2021
5 / 5
une trés bonne formation, Formateur super disponible, réponds a tout les questions et prépare toujours des solutions alternatives, machines de Backup, VM secondaires ...

PONS L. 08/06/2021
5 / 5
Le sujet est énorme. il contient beaucoup de contenue mais il peut y avoir encore plus de contenue. Question pédagogie rien à redire mais il faut au moins une journée de plus pour que cette formation soit correcte

JEAN-CHARLES B. 25/05/2021
4 / 5
J’avais en tête que nous devions procéder à l’installation puisà l’administration de HADOOP, j’ai plutôt eu l’impression de faire une initiation au produit et à des requêtes, ce n’est pas ce que j’attendais de la formation, le choix de celle ci était surement trop juste. J’ai appris des choses sur Hadoop mais en tant qu’exploitant, je n’ai donc pas l’impression de pouvoir administrer une s

LIONEL L. 25/05/2021
3 / 5
Théorie : On a vu l’écosystème d’Hadoop avec tous ses modules et les généralitées, doc en Francais mais mise en page à améliorer (texte caché sous des shemas). Pratique : On a vu l’installation du socle d’Hadoop, l’utilisation basique de HDFS et que de 3 modules (MapReduce, Hive et Pig) parmis les 30 de l’écosystème. Beucoup trop léger comparé à la descripti

FLOCH CORENTIN L. 08/03/2021
4 / 5
Les tps n’étaient pas préparés.

CARL-JOHAN J. 08/03/2021
4 / 5
Un cours bien structuré. Les TPs sont intéressants mais malheureusement, constat partagé avec la majorité des sessions précédentes, les TPs n’avaient pas été testés sur notre environnement de travail. Résultat, plus de la moitié du temps passé à débuguer des problèmes de compatibilité ou de paramétrage. Il est indispensable que les formateurs aient accès à l[q

JULIEN S. 08/03/2021
2 / 5
Sujet intéressant, mais impossible de dire si le formateur est compétent. Les TP ont été glané sur internet et rapidement traduit avec de la traduction automatique. Comme les TP n’ont pas été testé, rien ne marche - correspond exactement a nos environnements. Au final c’est près de 3 jours de debugging fastidieux.

DINGAN L. 08/12/2020
5 / 5
Le stage est essential, j’ai appris des connaissances très intéressants sur le framework Hadoop et sa gestion. Ca me donne une vision plus globale en tant que développeur.

NICOLAS V. 08/12/2020
5 / 5
Excellent formateur. Il est patient, sait prendre le temps pour répondre aux questions de chacun.

ABDOULAYE S. 08/12/2020
5 / 5
Satisfaction dans l’ensemble avec un bon animateur, très pédagogue et maitrisant le sujet

PASCAL F. 08/12/2020
4 / 5
La formation est interressante.

XIAOQING L. 08/12/2020
5 / 5
le contenu est suffisamment rich pour 4 jours, les TPs sont corrects et les progrès sont bien suivis par le professeur.

JEAN LUC E. 08/12/2020
5 / 5
Contenu très riche
Avis clients 4,3 / 5

Les avis clients sont issus des feuilles d’évaluation de fin de formation. La note est calculée à partir de l’ensemble des avis datant de moins de 12 mois.

CLASSE A DISTANCE

En inter et en intra-entreprise
Inscrivez-vous ou contactez-nous !

Pour vous inscrire

Cliquez sur la ville, puis sur la date de votre choix.
[+]
CLASSE A DISTANCE
[+]
PARIS

Horaires

Les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45.
Pour les stages pratiques de 4 ou 5 jours, les sessions se terminent à 15h30 le dernier jour.