ORSYS formation
NOUS CONTACTER - +33 (0)1 49 07 73 73
NOUS CONTACTER - 📞 +33 (0)1 49 07 73 73    espace pro ESPACE PRO     inscription formation orsys S'INSCRIRE     drapeau francais   drapeau anglais
Nos domaines de formation :
Toutes nos formations Big Data, NoSQL

Formation Spark, développer des applications pour le Big Data

4,6 / 5
Stage pratique
Durée : 3 jours
Réf : SPK
Prix  2019 : 2030 € H.T.
Pauses et déjeuners offerts
  • Programme
  • Participants / Prérequis
  • Intra / sur-mesure
  • avis vérifiés
Programme

Vous développerez des applications en Java en vue de traiter en temps réel des données issues du Big Data. Vous collecterez, stockerez et traiterez avec Spark des données de formats hétérogènes afin de mettre en place des chaînes de traitement intégrées à votre Système d'Information.

Objectifs pédagogiques

  • Maîtriser les concepts fondamentaux de Spark
  • Développer des applications avec Spark Streaming
  • Faire de la programmation parallèle avec Spark sur un cluster
  • Exploiter des données avec Spark SQL
  • Avoir une première approche du Machine Learning

Travaux pratiques

Mise en pratique des notions vues en cours à l'aide du langage Java.
PROGRAMME DE FORMATION

Présentation d'Apache Spark

  • Historique du Framework.
  • Les différentes versions de Spark (Scala, Python et Java).
  • Comparaison avec l'environnement Apache Hadoop.
  • Les différents modules de Spark.

Travaux pratiques
Installation et configuration de Spark. Exécution d'un premier exemple avec le comptage de mots.

Programmer avec les Resilient Distributed Dataset (RDD)

  • Présentation des RDD.
  • Créer, manipuler et réutiliser des RDD.
  • Accumulateurs et variables broadcastées.
  • Utiliser des partitions.

Travaux pratiques
Manipulation de différents Datasets à l'aide de RDD et utilisation de l'API fournie par Spark.

Manipuler des données structurées avec Spark SQL

  • SQL, DataFrames et Datasets.
  • Les différents types de sources de données.
  • Interopérabilité avec les RDD.
  • Performance de Spark SQL.
  • JDBC/ODBC server et Spark SQL CLI.

Travaux pratiques
Manipulation de Datasets via des requêtes SQL. Connexion avec une base externe via JDBC.

Spark sur un cluster

  • Les différents types d'architecture : Standalone, Apache Mesos ou Hadoop YARN.
  • Configurer un cluster en mode Standalone.
  • Packager une application avec ses dépendances.
  • Déployer des applications avec Spark-submit.
  • Dimensionner un cluster .

Travaux pratiques
Mise en place d'un cluster Spark.

Analyser en temps réel avec Spark Streaming

  • Principe de fonctionnement.
  • Présentation des Discretized Streams (DStreams).
  • Les différents types de sources.
  • Manipulation de l'API.
  • Comparaison avec Apache Storm.

Travaux pratiques
Consommation de logs avec Spark Streaming.

Manipuler des graphes avec GraphX

  • Présentation de GraphX.
  • Les différentes opérations.
  • Créer des graphes.
  • Vertex and Edge RDD.
  • Présentation de différents algorithmes.

Travaux pratiques
Manipulation de l'API GraphX à travers différents exemples.

Machine Learning avec Spark

  • Introduction au Machine Learning.
  • Les différentes classes d'algorithmes.
  • Présentation de SparkML et MLlib.
  • Implémentations des différents algorithmes dans MLlib.

Travaux pratiques
Utilisation de SparkML et MLlib.

Participants / Prérequis

» Participants

Développeurs, architectes.

» Prérequis

Bonnes connaissances du langage Java.
Intra / sur-mesure

Demande de devis intra-entreprise
(réponse sous 48h)

Vos coordonnées

En cochant cette case, j’atteste avoir lu et accepté les conditions liées à l’usage de mes données dans le cadre de la réglementation sur la protection des données à caractère personnel (RGPD).
Vous pouvez à tout moment modifier l’usage de vos données et exercer vos droits en envoyant un email à l’adresse rgpd@orsys.fr
En cochant cette case, j’accepte de recevoir les communications à vocation commerciale et promotionnelle de la part d’ORSYS Formation*
Vous pouvez à tout moment vous désinscrire en utilisant le lien de désabonnement inclus dans nos communications.
* Les participants inscrits à nos sessions de formation sont également susceptibles de recevoir nos communications avec la possibilité de se désabonner à tout moment.
Avis vérifiés
picto avis vérifiés
Jérôme G. 02/09/2019
5 / 5
Excellent formateur

ALI O. 02/09/2019
5 / 5
Le contenu du cour est très bien fait pour s'initier à cette techno, le formateur est très pédagogue.

Riana R. 01/07/2019
4 / 5
Formateur très pédagogue, de bonne humeur Pas aussi expert sur Spark qu'attendu (j'espérais que l'on creuse bcp plus quelques aspects), mais pour une initiation à Spark il convient très bien

Alexandre M. 01/07/2019
5 / 5
Le contenu de la formation était très satisfaisant. Beaucoup de points ont été abordés mais il manque un peu de temps pour approfondir les différents concepts.

Hani D. 01/07/2019
5 / 5
Le support du cours est claire est très bien expliqué. Mr. Fabrice est en plus un très bon formateur. Spark est bien un sujet compliqué. Il a très bien expliqué ce sujet complexe. J'ai bien aimé les exemples et exercices.

Sarah N. 03/06/2019
4 / 5
très bonnes explications du formateur

Matthis P. 03/06/2019
5 / 5
Très instructif, et animateur très pédagogique

Nicolas M. 03/06/2019
5 / 5
Contenu intéressant et bien expliqué mais très varié par rapport au temps de formation.

LEMOINE E. 03/06/2019
5 / 5
Véritablement intéressant !! Merci

Drewniak 03/06/2019
5 / 5
l'intervenant Fabrice mourlin est très disponible et pédagogue.

David C. 03/06/2019
5 / 5
Intéressant dans l'ensemble

Florian G. 03/06/2019
5 / 5
3 jours extrêmement efficaces dans l'étendue des thématiques abordées et de l'apprentissage en général.

Clément B. 03/06/2019
5 / 5
Le contenu est adapté dans l'ensemble. La mise en place d'un cas pratique "fil rouge" serait un plus (avec un fichier de données à traité qui soit supérieur à 10Go et avec l'utilisation de plusieurs machine/VM simultanément).

Simon B. 01/04/2019
4 / 5
Trés pédagogue

Colin T. 28/01/2019
5 / 5
Très bon cours pour appréhender les bases du Spark.

Leo R. 28/01/2019
5 / 5
Programme très varié, mais pas de réel approfondissement (nécessité d'une formation plus longue ?) Support de cours = slides ici, alors qu'un support pourrait être plus verbeux et approfondir les sujets et explications Très bons exercices, mais pas de fichiers corrigés à relire à tête reposée

Paule L. 03/12/2018
4 / 5
Sujet trop vaste pour être couvert en 3 jours. Contenu de la formation adapté pour des personnes ayant déjà une bonne connaissance des outils mis en oeuvre. et de l'écosysteme Apache Spark. Mon niveau de connaissance étant plus faible, j'aurais souhaité plus d'explications et de travaux pratiques.
Avis client 4,6 / 5

Les avis client sont issus des feuilles d’évaluation de fin de formation. La note est calculée à partir de l’ensemble des avis datant de moins de 12 mois.

En poursuivant votre navigation, vous acceptez l’utilisation de cookies nous permettant de vous proposer des offres correspondant à vos centres d’intérêt.
En savoir plus sur l’usage des cookies…   ✖ Fermer
linkedin orsys
twitter orsys
it! orsys
instagram orsys
pinterest orsys
facebook orsys
youtube orsys