Nos solutions de formation à distance et en présentiel éligibles au dispositif FNE-Formation 100% financées En savoir plus
ORSYS formation
NOUS CONTACTER - +33 (0)1 49 07 73 73
espace pro
ESPACE CLIENT
NOUS CONTACTER - 📞 +33 (0)1 49 07 73 73    espace pro ESPACE CLIENT     inscription formation orsys S'INSCRIRE     drapeau francais   drapeau anglais

Nos formations :

Toutes nos formations Big Data, NoSQL

Formation Spark, développer des applications pour le Big Data

4,2 / 5
Stage pratique
Best
Durée : 3 jours
Réf : SPK
Prix  2020 : 2040 € H.T.
Pauses et déjeuners offerts
  • Programme
  • Participants / Prérequis
  • Intra / sur-mesure
  • avis vérifiés
Programme

Vous développerez des applications en Java en vue de traiter en temps réel des données issues du Big Data. Vous collecterez, stockerez et traiterez avec Spark des données de formats hétérogènes afin de mettre en place des chaînes de traitement intégrées à votre Système d'Information.

Objectifs pédagogiques

  • Maîtriser les concepts fondamentaux de Spark
  • Développer des applications avec Spark Streaming
  • Faire de la programmation parallèle avec Spark sur un cluster
  • Exploiter des données avec Spark SQL
  • Avoir une première approche du Machine Learning

Travaux pratiques

Mise en pratique des notions vues en cours à l'aide du langage Java.
PROGRAMME DE FORMATION

Présentation d'Apache Spark

  • Historique du Framework.
  • Les différentes versions de Spark (Scala, Python et Java).
  • Comparaison avec l'environnement Apache Hadoop.
  • Les différents modules de Spark.

Travaux pratiques
Installation et configuration de Spark. Exécution d'un premier exemple avec le comptage de mots.

Programmer avec les Resilient Distributed Dataset (RDD)

  • Présentation des RDD.
  • Créer, manipuler et réutiliser des RDD.
  • Accumulateurs et variables broadcastées.
  • Utiliser des partitions.

Travaux pratiques
Manipulation de différents Datasets à l'aide de RDD et utilisation de l'API fournie par Spark.

Manipuler des données structurées avec Spark SQL

  • SQL, DataFrames et Datasets.
  • Les différents types de sources de données.
  • Interopérabilité avec les RDD.
  • Performance de Spark SQL.
  • JDBC/ODBC server et Spark SQL CLI.

Travaux pratiques
Manipulation de Datasets via des requêtes SQL. Connexion avec une base externe via JDBC.

Spark sur un cluster

  • Les différents types d'architecture : Standalone, Apache Mesos ou Hadoop YARN.
  • Configurer un cluster en mode Standalone.
  • Packager une application avec ses dépendances.
  • Déployer des applications avec Spark-submit.
  • Dimensionner un cluster .

Travaux pratiques
Mise en place d'un cluster Spark.

Analyser en temps réel avec Spark Streaming

  • Principe de fonctionnement.
  • Présentation des Discretized Streams (DStreams).
  • Les différents types de sources.
  • Manipulation de l'API.
  • Comparaison avec Apache Storm.

Travaux pratiques
Consommation de logs avec Spark Streaming.

Manipuler des graphes avec GraphX

  • Présentation de GraphX.
  • Les différentes opérations.
  • Créer des graphes.
  • Vertex and Edge RDD.
  • Présentation de différents algorithmes.

Travaux pratiques
Manipulation de l'API GraphX à travers différents exemples.

Machine Learning avec Spark

  • Introduction au Machine Learning.
  • Les différentes classes d'algorithmes.
  • Présentation de SparkML et MLlib.
  • Implémentations des différents algorithmes dans MLlib.

Travaux pratiques
Utilisation de SparkML et MLlib.

Participants / Prérequis

» Participants

Développeurs, architectes.

» Prérequis

Bonnes connaissances du langage Java.
Intra / sur-mesure

Demande de devis intra-entreprise
(réponse sous 48h)

Vos coordonnées

En cochant cette case, j’atteste avoir lu et accepté les conditions liées à l’usage de mes données dans le cadre de la réglementation sur la protection des données à caractère personnel (RGPD).
Vous pouvez à tout moment modifier l’usage de vos données et exercer vos droits en envoyant un email à l’adresse rgpd@orsys.fr
En cochant cette case, j’accepte de recevoir les communications à vocation commerciale et promotionnelle de la part d’ORSYS Formation*
Vous pouvez à tout moment vous désinscrire en utilisant le lien de désabonnement inclus dans nos communications.
* Les participants inscrits à nos sessions de formation sont également susceptibles de recevoir nos communications avec la possibilité de se désabonner à tout moment.
Avis vérifiés
picto avis vérifiés
Yvette B. 25/05/2020
4 / 5
contenu est très intéressant pour mon métier mais le temps était insuffisant pour aller plus en profondeur
Samuel J. 25/05/2020
4 / 5
Très bon stage, et très satisfait pour ma première formation professionnelle de ma carrière Dommage qu'on est pas pu approfondir plus en détail les notions vu mais il aurait fallu plus de temps
Cucu M. 25/05/2020
5 / 5
Bon cours mais un peut minimal au final. J'ai beaucoup aimé le présentateur et son attitude. Je suis venue à ce cours avec curiosité et je suis partie avec beaucoup de questions et je voulais en savoir plus. Je ne veux pas dire que ce cours est mauvais, c'est juste très court pour tous les sujets qu'il a essayé de toucher. Je pense que cela devrait prendre beaucoup plus de 3 jours ou peut-être raccourcir le programme. J'esp[egra
Afficher plus d’avis
VALENTIN B. 25/05/2020
5 / 5
Bien équilibré entre théorique et pratique. Les exercices étaient simples mais permettaient de bien découvrir chaque api de spark quand même. Quelques petits soucis dans les TPs, il faudrait mettre à jour les exercices avec les dernières versions des logiciels utilisées et corriger les utilisations de code mainteannt deprecated.
Arnaud D. 25/05/2020
5 / 5
Super formation pour une découverte de Spark.
Youssef B. 09/03/2020
4 / 5
nous n'avons pas reçu les supports de cours .
Tristan G. 09/03/2020
5 / 5
Support de cours papier non présent
Thierry M. 17/02/2020
3 / 5
Trop de temps passé sur de la lecture de Data. L'impression de toujours faire le même exercice. Il manque la compréhension de la distribution, etc.
Gianni C. 17/02/2020
4 / 5
Bon équilibre Théorie/TP. Je m'attendais a voir plus de "Big data" comment les calculs sont réparties sur les noeuds... les exercices sont trop répétitif sur la manipulation de classes java. Le support est de bonne facture mais le fond des slides est trop pauvre, inutilisable au quotidien.
Elise R. 17/02/2020
4 / 5
A remettre au gout du jour : Spark Structured Streaming plutôt que Spark Streaming, plus de temps aux Dataset qu'aux RDD (exos sur l'API DataFrame plutôt qu'uniquement des requêtes SQL par ex). L'intégration Flume/Spark est dépréciée : utiliser par ex Kafka. Points techniques non abordés : format données (intérêt Parquet au mini), shuffle, partitionnement, une ouverture sur Catalyst. Manque un rés
jean-baptiste d. 17/02/2020
4 / 5
+ entrée très rapide dans le sujet, sans blabla, + bon aperçu de la plupart des fonctionnalités Spark, + cas d'utilisation concrets avec possibilité de sauvegarder les travaux, - quelques lenteurs dans les exercices (et l'absence d'exercice "ergonomique" sur graphx), - j'aurais apprécié un peu plus de théorie sur les technologies sous-jacentes.
stephane b. 17/02/2020
5 / 5
formation très intéressantes et formateur passionné
Florent N. 17/02/2020
5 / 5
Très bon formateur, très bonne maîtrise et qualité des explications remarquables
Jean-Baptiste G. 17/02/2020
5 / 5
Parait complet sur le sujet. Formateur dynamique et sympathique.
Nathalie T. 17/02/2020
5 / 5
Bonne introduction et travaux pratiques intéressants. Très bon formateur
laetitia B. 27/01/2020
4 / 5
N ayant pas été formée en tant qu assistante dans mon cursus professionnel. J ai trouvé des éléments pouvant être appliqué dans la peatique
saifoudine a. 27/01/2020
4 / 5
le contenu permet d'avoir une vision global de l'outil. mais je pense que la partie pratique est un peu light pour être autonome, en tout pour ce qui est de ma part. Trop peu de temps pour pouvoir refaire les exercices.
Nicolas P. 27/01/2020
5 / 5
les exos sont passés un peu rapidement parfois, mais sont de qualité
MAGALIE C. 04/11/2019
4 / 5
Contenu riche mais trop dense par rapport à la durée de la formation, 5 jours aurait été préférable. Du coup, pas vraiment le temps de bien faire les exercices quand on ne connait pas Spark et que la pratique du java n'est pas récente.
Alexandre P. 04/11/2019
4 / 5
Pas eu le temps d'aborder l'ensemble du contenu du cours
Avis client 4,2 / 5

Les avis client sont issus des feuilles d’évaluation de fin de formation. La note est calculée à partir de l’ensemble des avis datant de moins de 12 mois.

CLASSE A DISTANCE

En inter et en intra-entreprise
Inscrivez-vous ou contactez-nous !

Pour vous inscrire

Cliquez sur la ville, puis sur la date de votre choix.
[+]
CLASSE A DISTANCE
[+]
PARIS
[+]
AIX
[+]
BORDEAUX
[+]
LILLE
[+]
LYON
[+]
NANTES
[+]
SOPHIA-ANTIPOLIS
[+]
STRASBOURG
[+]
TOULOUSE

Horaires

Les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45.
Pour les stages pratiques de 4 ou 5 jours, les sessions se terminent à 15h30 le dernier jour.
Formations conseillées
Thème associé
En poursuivant votre navigation, vous acceptez l’utilisation de cookies nous permettant de vous proposer des offres correspondant à vos centres d’intérêt.
En savoir plus sur l’usage des cookies…   ✖ Fermer
linkedin orsys
twitter orsys
it! orsys
instagram orsys
pinterest orsys
facebook orsys
youtube orsys