menu logo orsys formation
NOUS CONTACTER - +33 (0)1 49 07 73 73
NOUS CONTACTER - 📞 +33 (0)1 49 07 73 73    espace pro ESPACE PRO     inscription formation orsys S'INSCRIRE     drapeau francais   drapeau anglais
Nos domaines de formation :
Toutes nos formations Big Data, NoSQL

Formation Flink, développer des applications pour le Big Data

Stage pratique
Durée : 3 jours
Réf : FKB
Prix  2019 : 1990 € H.T.
Pauses et déjeuners offerts
  • Programme
  • Participants / Prérequis
  • Intra / sur-mesure
Programme

Apache Flink est un nouvel outil de traitement de Big Data de quatrième génération qui change le paysage des technologies de traitement des données. Ce cours vous permettra d’utiliser Apache Flink pour développer des applications en Java en vue de traiter des flux massifs de données issues du Big Data en temps réel.

Objectifs pédagogiques

  • Maîtriser les concepts fondamentaux de Flink
  • Développer des applications a l'aide de DataSet et DataStream API
  • Traitement de données distribué avec Flink et Hadoop
  • Exploiter des données avec Table API
  • Avoir une première approche du machine learning

Travaux pratiques

Mise en pratique des notions vues en cours à l'aide des langages Scala et Java.
PROGRAMME DE FORMATION

Introduction à Apache Flink

  • Historique du framework.
  • Les différentes versions de Flink.
  • Comparaison avec l'environnement Apache Hadoop et Apache Spark.
  • Les différents modules de Flink.

Travaux pratiques
Installation et configuration de Flink. Exécution d'un premier exemple avec le comptage de mots.

Traitement de données à l'aide de l'API DataStream

  • Environnement d'exécution et sources de données.
  • Les transformations: Map, FlatMap, Filter, KeyBy, Reduce...
  • Les opérations sur des flux multiples : Union, Cogroup, Connect, Join, Iterate...
  • Les opérations sur Windows : Global, Tumbling, Sliding, Session...
  • Le partitionnement physique personnalisé, aléatoire, rééquilibrage et redimensionnement.
  • Les DataSink et les connecteurs : Kafka, Twitter, ElasticSerch...

Travaux pratiques
Consommation et manipulation de différents flux des données.

Traitement de données à l'aide de l'API Batch

  • Les différents types de sources de données.
  • Les transformations et agrégations.
  • L'écriture des données.
  • Les DataSink et les connecteurs : HDFS, S3, Avro, MongoDB.

Travaux pratiques
Manipulation de DataSets à partir de plusieurs sources de données.

Traitement de données à l'aide de l'API Table

  • Enregistrement et lecture des tables enregistrées.
  • Les opérateurs : sélection, filtre, jointure, orderBy...
  • Utiliser du SQL sur le flux de données.
  • Les fonctions Scala dans SQL.
  • Traitement des événements complexes.

Travaux pratiques
Mise en place d'une analyse avec SQL sur un flux de données.

Machine Learning avec FlinkML

  • Introduction au machine learning.
  • Les différentes classes d'algorithmes.
  • Présentation de FlinkML et des différents algorithmes.

Travaux pratiques
Mettre en place un algorithme de machine leaning.

API Flink Graph - Gelly

  • Qu'est-ce qu'un graphe ?
  • Les différentes opérations.
  • Créer des graphes.
  • Transformations de graphes.
  • Présentation de différents algorithmes.

Travaux pratiques
Manipulation de l'API travers différents exemples.

Déploiement de Flink

  • Flink sur YARN Configurations.
  • Lancement et arrêt d'un cluster.
  • Soumettre un travail à Flink.
  • Flink sur Google Cloud.
  • Flink sur AWS.

Travaux pratiques
Configurer un cluster multinœuds et déployer une application.

Participants / Prérequis

» Participants

Développeurs, architectes.

» Prérequis

Bonnes connaissances du langage Scala ou Java.
Intra / sur-mesure

Demande de devis intra-entreprise
(réponse sous 48h)

Vos coordonnées

En cochant cette case, j’atteste avoir lu et accepté les conditions liées à l’usage de mes données dans le cadre de la réglementation sur la protection des données à caractère personnel (RGPD).
Vous pouvez à tout moment modifier l’usage de vos données et exercer vos droits en envoyant un email à l’adresse rgpd@orsys.fr
En cochant cette case, j’accepte de recevoir les communications à vocation commerciale et promotionnelle de la part d’ORSYS Formation*
Vous pouvez à tout moment vous désinscrire en utilisant le lien de désabonnement inclus dans nos communications.
* Les participants inscrits à nos sessions de formation sont également susceptibles de recevoir nos communications avec la possibilité de se désabonner à tout moment.

Pour vous inscrire

Cliquez sur la ville, puis sur la date de votre choix.
[-]
PARIS

Horaires

Les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45.
Pour les stages pratiques de 4 ou 5 jours, les sessions se terminent à 15h30 le dernier jour.
Filières métiers
linkedin orsys
twitter orsys
it! orsys
instagram orsys
pinterest orsys
facebook orsys
youtube orsys