Formation Spring : Big Data et nouvelles architectures autour de Kafka et du Cloud

Les grands concepts et les outils

• Évolution des technologies.
• Conteneur Docker et virtualisation.
• Le cloud.
• Le NoSQL.
• Le framework Spring.
• Le big data.
• Hadoop.
• Kafka.

Analyse avant conception et mise en œuvre avec Spring

• Modélisation de l’applicatif.
• Analyse des user stories.
• Spring en MVC, des couches à la conception hexagonale.
• Ubiquitous language.
• Création de micro-services Spring à partir du DDD.
• Pièges à éviter.
• Modèle et Bounded Context.
• Les bonnes pratiques.

Travaux pratiques
Autour d’une problématique métier, nous allons mettre en œuvre le DDD pour pouvoir fabriquer un ensemble de micro-services communiquant entre eux.

L'architecture reactive/asynchrone avec Kafka

• Les brokers de messages.
• Découvrir Kafka.
• Push/pull de données et les producers.
• Les consumers et les brokers.
• Les topics et les partitions.
• Offset et ZooKeeper.
• Mise en place de Kafka dans une architecture en micro-service.

Travaux pratiques
Conception d'une architecture réactive avec le broker Kafka reliant les micro-services.

L'architecture applicative et logicielle

• Architecture micro-service.
• CQRS et Event-sourcing.
• Architecture réactive.
• Traitement serverless sur cloud.

Travaux pratiques
Analyse et mise en place des précédents exercices et améliorations en présentant les concepts d’architecture.

Big data et creation d’un data lake sur cloud

• Architecture et fonctionnement du big data.
• Data lake et data mining : concepts.
• Présentation des solutions cloud et en dehors du cloud.

Travaux pratiques
Mise en place d’un data lake sur Cloud dans lequel un ensemble de données sera déposé pour être traité par la suite.

Big data et analyse des données avec Hadoop

• Concept et outils.
• Hadoop : présentation de l’environnement.
• Map Reduce.
• HDFS et HBase.
• Spark : présentation de l’environnement.
• Comparatif avec Map Reduce.
• Intégration dans Hadoop.
• Manipulation des données.

Travaux pratiques
Récupération et analyse des données dans le data lake par une solution Spark Hadoop. Le résultat pourra être ensuite représenté par des graphiques.