> Formations > Technologies numériques > Big Data, Intelligence Artificielle > Big Data, NoSQL > Formation Spark Java, développer des applications pour le Big Data > Formations > Technologies numériques > Formation Spark Java, développer des applications pour le Big Data
Formation incontournable

Spark Java, développer des applications pour le Big Data

Spark Java, développer des applications pour le Big Data

Télécharger au format pdf Partager cette formation par e-mail 2


Souvent présenté comme le successeur de Hadoop, SPARK simplifie la programmation des traitements BigData permettant l'utilisation de scala, Python ou Java . Cette formation apprendra aux programmeurs à traiter un flux de données en temps réel et à effectuer des traitements batch (du SQL jusqu'au Machine Learning).


Inter
Intra
Sur mesure

Cours pratique en présentiel ou en classe à distance

Réf. SPK
Prix : 2150 € H.T.
  3j - 21h
Pauses-café et
déjeuners offerts




Souvent présenté comme le successeur de Hadoop, SPARK simplifie la programmation des traitements BigData permettant l'utilisation de scala, Python ou Java . Cette formation apprendra aux programmeurs à traiter un flux de données en temps réel et à effectuer des traitements batch (du SQL jusqu'au Machine Learning).

Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
  • Maîtriser les concepts fondamentaux de Spark
  • Développer des applications avec Spark Streaming
  • Mettre en œuvre un cluster Spark
  • Exploiter des données avec Spark SQL
  • Avoir une première approche du Machine Learning

Public concerné
Chefs de projet, data scientists, développeurs, architectes.

Prérequis
Bonnes connaissances du langage Java. Connaissances en Big Data.
Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en faisant  ce test.

Programme de la formation

Présentation d'Apache Spark

  • Historique du Framework.
  • Les différentes versions de Spark (Scala, Python et Java).
  • Comparaison avec l'environnement Apache Hadoop.
  • Les différents modules de Spark.
Travaux pratiques
Installation et configuration de Spark. Exécution d'un premier exemple avec le comptage de mots.

Programmer avec les Resilient Distributed Dataset (RDD)

  • Présentation des RDD.
  • Créer, manipuler et réutiliser des RDD.
  • Accumulateurs et variables broadcastées.
  • Utiliser des partitions.
Travaux pratiques
Manipulation de différents Datasets à l'aide de RDD et utilisation de l'API fournie par Spark.

Manipuler des données structurées avec Spark SQL

  • SQL, DataFrames et Datasets.
  • Les différents types de sources de données.
  • Interopérabilité avec les RDD.
  • Performance de Spark SQL.
  • JDBC/ODBC server et Spark SQL CLI.
Travaux pratiques
Manipulation de Datasets via des requêtes SQL. Connexion avec une base externe via JDBC.

Spark sur un cluster

  • Les différents types d'architecture : Standalone, Apache Mesos ou Hadoop YARN.
  • Configurer un cluster en mode Standalone.
  • Packager une application avec ses dépendances.
  • Déployer des applications avec Spark-submit.
  • Dimensionner un cluster .
Travaux pratiques
Mise en place d'un cluster Spark.

Analyser en temps réel avec Spark Streaming

  • Principe de fonctionnement.
  • Présentation des Discretized Streams (DStreams).
  • Les différents types de sources.
  • Manipulation de l'API.
  • Comparaison avec Apache Storm.
Travaux pratiques
Consommation de logs avec Spark Streaming.

Manipuler des graphes avec GraphX

  • Présentation de GraphX.
  • Les différentes opérations.
  • Créer des graphes.
  • Vertex and Edge RDD.
  • Présentation de différents algorithmes.
Travaux pratiques
Manipulation de l'API GraphX à travers différents exemples.

Machine Learning avec Spark

  • Introduction au Machine Learning.
  • Les différentes classes d'algorithmes.
  • Présentation de SparkML et MLlib.
  • Implémentations des différents algorithmes dans MLlib.
Travaux pratiques
Utilisation de SparkML et MLlib.


Modalités pratiques
Travaux pratiques
Mise en pratique des notions vues en cours à l'aide du langage Java.

Modalités d'évaluation
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Solutions de financement
Pour trouver la meilleure solution de financement adaptée à votre situation : contactez votre conseiller formation.
Il vous aidera à choisir parmi les solutions suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.

Avis clients
3,9 / 5
Les avis clients sont issus des évaluations de fin de formation. La note est calculée à partir de l’ensemble des évaluations datant de moins de 12 mois. Seules celles avec un commentaire textuel sont affichées.
MAËL A.
02/03/22
3 / 5

temps de formation trop court pour un contenu dense, qui empêche le formateur de donner de l’autonomie dans la réalisation des TP.
BENJAMIN P.
02/03/22
3 / 5

très bon formateur environnement de travail (postes) OK
GIOVANNI W.
02/03/22
3 / 5

Bonne connaissance générale. Formateur qui prend le temps pour bien expliquer les fondamentaux




Horaires
En présentiel, les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45. Les pauses et déjeuners sont offerts.
En classe à distance, la formation démarre à partir de 9h.
Pour les stages pratiques de 4 ou 5 jours, quelle que soit la modalité, les sessions se terminent à 15h30 le dernier jour.

Dates et lieux
Pour vous inscrire, sélectionnez la ville et la date de votre choix.
Du 5 au 7 décembre 2022 *
FR
Paris La Défense
Session garantie
S’inscrire
Du 16 au 18 janvier 2023
FR
Dijon
S’inscrire
Du 8 au 10 février 2023
FR
Tours
S’inscrire
Du 8 au 10 février 2023
FR
Classe à distance
S’inscrire
Du 8 au 10 février 2023
FR
Paris La Défense
S’inscrire
Du 20 au 22 février 2023
FR
Montpellier
S’inscrire
Du 27 février au 1 mars 2023
FR
Strasbourg
S’inscrire
Du 13 au 15 mars 2023
FR
Lyon
S’inscrire
Du 13 au 15 mars 2023
FR
Niort
S’inscrire
Du 12 au 14 avril 2023
FR
Montpellier
S’inscrire
Du 17 au 19 avril 2023
FR
Lille
S’inscrire
Du 26 au 28 avril 2023
FR
Paris La Défense
S’inscrire
Du 26 au 28 avril 2023
FR
Classe à distance
S’inscrire
Du 26 au 28 avril 2023
FR
Tours
S’inscrire
Du 10 au 12 mai 2023
FR
Lyon
S’inscrire
Du 10 au 12 mai 2023
FR
Dijon
S’inscrire
Du 10 au 12 mai 2023
FR
Toulouse
S’inscrire
Du 15 au 17 mai 2023
FR
Nantes
S’inscrire
Du 22 au 24 mai 2023
FR
Paris La Défense
S’inscrire
Du 22 au 24 mai 2023
FR
Classe à distance
S’inscrire
Du 31 mai au 2 juin 2023
FR
Aix-en-Provence
S’inscrire
Du 5 au 7 juin 2023
FR
Brest
S’inscrire
Du 5 au 7 juin 2023
FR
Caen
S’inscrire
Du 5 au 7 juin 2023
FR
Mulhouse
S’inscrire
Du 5 au 7 juin 2023
FR
Rennes
S’inscrire
Du 5 au 7 juin 2023
FR
Clermont-Ferrand
S’inscrire
Du 5 au 7 juin 2023
FR
Grenoble
S’inscrire
Du 5 au 7 juin 2023
FR
Saint-Etienne
S’inscrire
Du 5 au 7 juin 2023
FR
Valence
S’inscrire
Du 12 au 14 juin 2023
FR
Strasbourg
S’inscrire
Du 14 au 16 juin 2023
FR
Paris La Défense
S’inscrire
Du 14 au 16 juin 2023
FR
Classe à distance
S’inscrire
Du 14 au 16 juin 2023
FR
Angers
S’inscrire
Du 14 au 16 juin 2023
FR
Le Mans
S’inscrire
Du 14 au 16 juin 2023
FR
Nancy
S’inscrire
Du 14 au 16 juin 2023
FR
Orléans
S’inscrire
Du 14 au 16 juin 2023
FR
Reims
S’inscrire
Du 14 au 16 juin 2023
FR
Rouen
S’inscrire
Du 21 au 23 juin 2023
FR
Niort
S’inscrire
Du 26 au 28 juin 2023
FR
Avignon
S’inscrire
Du 26 au 28 juin 2023
FR
Marseille
S’inscrire
Du 26 au 28 juin 2023
FR
Sophia-Antipolis
S’inscrire
Du 26 au 28 juin 2023
FR
Toulon
S’inscrire
Du 26 au 28 juin 2023
FR
Bordeaux
S’inscrire
Du 26 au 28 juin 2023
FR
Limoges
S’inscrire
Du 26 au 28 juin 2023
FR
Pau
S’inscrire
Du 5 au 7 juillet 2023
FR
Montpellier
S’inscrire
Du 10 au 12 juillet 2023
FR
Dijon
S’inscrire
Du 16 au 18 août 2023
FR
Classe à distance
S’inscrire
Du 16 au 18 août 2023
FR
Tours
S’inscrire
Du 16 au 18 août 2023
FR
Paris La Défense
S’inscrire
Du 4 au 6 septembre 2023
FR
Strasbourg
S’inscrire
Du 4 au 6 septembre 2023
FR
Lyon
S’inscrire
Du 11 au 13 septembre 2023
FR
Lille
S’inscrire
Du 13 au 15 septembre 2023
FR
Aix-en-Provence
S’inscrire
Du 20 au 22 septembre 2023
FR
Paris La Défense
S’inscrire
Du 20 au 22 septembre 2023
FR
Classe à distance
S’inscrire
Du 25 au 27 septembre 2023
FR
Niort
S’inscrire
Du 9 au 11 octobre 2023
FR
Montpellier
S’inscrire
Du 11 au 13 octobre 2023
FR
Toulouse
S’inscrire
Du 25 au 27 octobre 2023
FR
Nantes
S’inscrire
Du 25 au 27 octobre 2023
FR
Tours
S’inscrire
Du 25 au 27 octobre 2023
FR
Classe à distance
S’inscrire
Du 25 au 27 octobre 2023
FR
Paris La Défense
S’inscrire
Du 13 au 15 novembre 2023
FR
Dijon
S’inscrire
Du 13 au 15 novembre 2023
FR
Lyon
S’inscrire
Du 22 au 24 novembre 2023
FR
Paris La Défense
S’inscrire
Du 22 au 24 novembre 2023
FR
Classe à distance
S’inscrire
Du 11 au 13 décembre 2023
FR
Strasbourg
S’inscrire
Du 20 au 22 décembre 2023
FR
Niort
S’inscrire