> Formations > Technologies numériques > Langages et développement > Java, Jakarta EE > Formation Hadoop, développer des applications pour le big data
Formation : Hadoop, développer des applications pour le big data
Formation pratique - 4j
- 28h00 - Réf. APH
|
Télécharger le programme
Partager cette formation
 | Construire un programme à base de MapReduce |
| Intégrer Hadoop HBase dans un workflow d'entreprise |
| Travailler avec Apache Hive et Pig depuis Hadoop Distributed File System (HDFS) |
| Utiliser un graphe de tâches avec Hadoop |
Public concerné
Concepteurs, développeurs.
Prérequis
Bonne expérience en développement Java. Des connaissances en architecture web constituent un plus.
Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en faisant
ce test.
Méthodes et moyens pédagogiques
Travaux pratiques
Développement d'applications pour le big data.
Méthodes pédagogiques
Cours 30%, travaux pratiques 70%.
Modalités d'évaluation
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.
Programme de la formation
1 Le big data
- Définition du périmètre du big data.
- Le rôle du projet Hadoop.
- Les concepts de base des projets big data.
- Présentation du cloud computing.
- Différence entre cloud computing privé et public.
- Les architectures big data à base du projet Hadoop.
Démonstration
Usage d'Hadoop et de GoogleApp.
2 Collecte de données et application de MapReduce
- Analyse des flux de données dans l'entreprise.
- Données structurées et non-structurées.
- Les principes de l'analyse sémantique des données d'entreprise.
- Graphe des tâches à base de MapReduce.
- La granularité de cohérence des données.
- Transfert de données depuis un système de persistance dans Hadoop.
- Transfert de données d'un Cloud dans Hadoop.
Travaux pratiques
Gérer la collecte d'informations clientèles par MapReduce. Configuration de l'implémentation Yarn. Développement d'une tâche basée sur Map Reduce.
3 Le stockage des données avec HBase
- Plusieurs types de base de données XML.
- Patterns d'usages et application au cloud.
- Application de Hadoop database au sein d'un workflow.
- Utilisation des projets Hive/Pig.
- Utilisation du projet HCatalog.
- L'API Java HBase.
Travaux pratiques
Gérer les modifications d'un catalogue de données fournisseur.
4 Le stockage des données sur HDFS
- Patterns d'usages et application au cloud.
- Architecture et installation d'un système HDFS, journal, NameNode, DataNode.
- Opérations, commandes et gestion des commandes.
- L'API HDFS Java.
- Analyse de données avec Apache Pig.
- Le langage Pig Latin. Utiliser Apache Pig avec Java.
- Requêtage avec Apache Hive.
- Réplication de données. Partage de données sur une architecture HDFS.
Travaux pratiques
Administrer un référentiel client partagé sur Hadoop. Utilisation de la console de visualisation.
5 Spring Data Hadoop
- Introduction à Spring et Spring Data.
- Le namespace Hadoop pour Spring.
- Utiliser Spring pour simplifier la configuration Hadoop.
- Configuration du cache distribué.
- Définition des jobs et dépendance entre jobs.
- Intégration des outils (Pig, Hive...).
Travaux pratiques
Refondre la gestion du catalogue de données fournisseur via Spring Data.
Date de publication : 08/07/2025
PARTICIPANTS
Concepteurs, développeurs.
PRÉREQUIS
Bonne expérience en développement Java. Des connaissances en architecture web constituent un plus.
COMPÉTENCES DU FORMATEUR
Les experts qui animent la formation sont des spécialistes des matières abordées. Ils ont été validés par nos équipes pédagogiques tant sur le plan des connaissances métiers que sur celui de la pédagogie, et ce pour chaque cours qu’ils enseignent. Ils ont au minimum cinq à dix années d’expérience dans leur domaine et occupent ou ont occupé des postes à responsabilité en entreprise.
MODALITÉS D’ÉVALUATION
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.
MODALITÉS ET DÉLAIS D’ACCÈS
L’inscription doit être finalisée 24 heures avant le début de la formation.
ACCESSIBILITÉ AUX PERSONNES HANDICAPÉES
Pour toute question ou besoin relatif à l’accessibilité, vous pouvez joindre notre équipe PSH par e-mail à l’adresse psh-accueil@orsys.fr.
Concepteurs, développeurs.
PRÉREQUIS
Bonne expérience en développement Java. Des connaissances en architecture web constituent un plus.
COMPÉTENCES DU FORMATEUR
Les experts qui animent la formation sont des spécialistes des matières abordées. Ils ont été validés par nos équipes pédagogiques tant sur le plan des connaissances métiers que sur celui de la pédagogie, et ce pour chaque cours qu’ils enseignent. Ils ont au minimum cinq à dix années d’expérience dans leur domaine et occupent ou ont occupé des postes à responsabilité en entreprise.
MODALITÉS D’ÉVALUATION
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.
MOYENS PÉDAGOGIQUES ET TECHNIQUES
• Les moyens pédagogiques et les méthodes d’enseignement utilisés sont principalement : aides audiovisuelles, documentation et support de cours, exercices pratiques d’application et corrigés des exercices pour les formations pratiques, études de cas ou présentation de cas réels pour les séminaires de formation.
• À l’issue de chaque formation ou séminaire, ORSYS fournit aux participants un questionnaire d’évaluation du cours qui est ensuite analysé par nos équipes pédagogiques.
• Une feuille d’émargement par demi-journée de présence est fournie en fin de formation ainsi qu’une attestation de fin de formation si le participant a bien assisté à la totalité de la session.
• Les moyens pédagogiques et les méthodes d’enseignement utilisés sont principalement : aides audiovisuelles, documentation et support de cours, exercices pratiques d’application et corrigés des exercices pour les formations pratiques, études de cas ou présentation de cas réels pour les séminaires de formation.
• À l’issue de chaque formation ou séminaire, ORSYS fournit aux participants un questionnaire d’évaluation du cours qui est ensuite analysé par nos équipes pédagogiques.
• Une feuille d’émargement par demi-journée de présence est fournie en fin de formation ainsi qu’une attestation de fin de formation si le participant a bien assisté à la totalité de la session.
MODALITÉS ET DÉLAIS D’ACCÈS
L’inscription doit être finalisée 24 heures avant le début de la formation.
ACCESSIBILITÉ AUX PERSONNES HANDICAPÉES
Pour toute question ou besoin relatif à l’accessibilité, vous pouvez joindre notre équipe PSH par e-mail à l’adresse psh-accueil@orsys.fr.
Ce programme est une création originale, conçu par les équipes pédagogiques d'ORSYS Formation. Toute reproduction, représentation, adaptation ou exploitation, totale ou partielle, sans autorisation préalable écrite d'ORSYS, est strictement interdite. ORSYS se réserve le droit d'engager toute action nécessaire à la protection de ses droits de propriété intellectuelle.
Dates et lieux
Dernières places
Date garantie en présentiel ou à distance
Session garantie
Ce programme est une création originale, conçu par les équipes pédagogiques d'ORSYS Formation. Toute reproduction, représentation, adaptation ou exploitation, totale ou partielle, sans autorisation préalable écrite d'ORSYS, est strictement interdite. ORSYS se réserve le droit d'engager toute action nécessaire à la protection de ses droits de propriété intellectuelle.