Avis loadedNote : 3,5Length : 20TotalNote : 560TotalNote20 : 7
Formation Spark, développer des applications pour le Big Data
Durée : 3 jours
Réf : SPK
Prix 2021 :
2240 €
H.T.
Pauses et déjeuners offerts
-
Programme
-
Participants / Prérequis
-
Intra / sur-mesure
Programme
Souvent présenté comme le successeur de Hadoop, SPARK simplifie la programmation des traitements BigData permettant l'utilisation de scala, Python ou Java . Cette formation apprendra aux programmeurs à traiter un flux de données en temps réel et à effectuer des traitements batch (du SQL jusqu'au Machine Learning).
Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
- Maîtriser les concepts fondamentaux de Spark
- Développer des applications avec Spark Streaming
- Faire de la programmation parallèle avec Spark sur un cluster
- Exploiter des données avec Spark SQL
- Avoir une première approche du Machine Learning
Travaux pratiques
Mise en pratique des notions vues en cours à l'aide du langage Java.
PROGRAMME
DE FORMATION
Présentation d'Apache Spark
- Historique du Framework.
- Les différentes versions de Spark (Scala, Python et Java).
- Comparaison avec l'environnement Apache Hadoop.
- Les différents modules de Spark.
Travaux pratiques
Installation et configuration de Spark. Exécution d'un premier exemple avec le comptage de mots.
Programmer avec les Resilient Distributed Dataset (RDD)
- Présentation des RDD.
- Créer, manipuler et réutiliser des RDD.
- Accumulateurs et variables broadcastées.
- Utiliser des partitions.
Travaux pratiques
Manipulation de différents Datasets à l'aide de RDD et utilisation de l'API fournie par Spark.
Manipuler des données structurées avec Spark SQL
- SQL, DataFrames et Datasets.
- Les différents types de sources de données.
- Interopérabilité avec les RDD.
- Performance de Spark SQL.
- JDBC/ODBC server et Spark SQL CLI.
Travaux pratiques
Manipulation de Datasets via des requêtes SQL. Connexion avec une base externe via JDBC.
Spark sur un cluster
- Les différents types d'architecture : Standalone, Apache Mesos ou Hadoop YARN.
- Configurer un cluster en mode Standalone.
- Packager une application avec ses dépendances.
- Déployer des applications avec Spark-submit.
- Dimensionner un cluster .
Travaux pratiques
Mise en place d'un cluster Spark.
Analyser en temps réel avec Spark Streaming
- Principe de fonctionnement.
- Présentation des Discretized Streams (DStreams).
- Les différents types de sources.
- Manipulation de l'API.
- Comparaison avec Apache Storm.
Travaux pratiques
Consommation de logs avec Spark Streaming.
Manipuler des graphes avec GraphX
- Présentation de GraphX.
- Les différentes opérations.
- Créer des graphes.
- Vertex and Edge RDD.
- Présentation de différents algorithmes.
Travaux pratiques
Manipulation de l'API GraphX à travers différents exemples.
Machine Learning avec Spark
- Introduction au Machine Learning.
- Les différentes classes d'algorithmes.
- Présentation de SparkML et MLlib.
- Implémentations des différents algorithmes dans MLlib.
Travaux pratiques
Utilisation de SparkML et MLlib.
Participants / Prérequis
» Participants
Développeurs, architectes.
» Prérequis
Bonnes connaissances du langage Java.
Intra / sur-mesure
CLASSE A DISTANCE
En inter et en intra-entreprise
Inscrivez-vous ou
contactez-nous !
Pour vous inscrire
Cliquez sur la ville, puis sur la date de votre choix.
Horaires
Les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45.
Pour les stages pratiques de 4 ou 5 jours, les sessions se terminent à 15h30 le dernier jour.
