> Formations > Data Engineering on AWS

Formation : Data Engineering on AWS

Cours officiel, preparation aux certifications AWS

Formation pratique - 3j - 21h00 - Réf. AWN

Data Engineering on AWS

Cours officiel, preparation aux certifications AWS


Nouvelle formation

Avec cette formation, vous apprendrez à concevoir, déployer et optimiser des solutions de data engineering sur AWS. Vous développerez les compétences nécessaires pour mettre en œuvre des data lakes, des data warehouses et des pipelines de données en batch et en streaming.


INTER
INTRA
SUR MESURE

Formation pratique en présentiel ou à distance
Disponible en anglais, à la demande

Réf. AWN
  3j - 21h00
Nous contacter




Avec cette formation, vous apprendrez à concevoir, déployer et optimiser des solutions de data engineering sur AWS. Vous développerez les compétences nécessaires pour mettre en œuvre des data lakes, des data warehouses et des pipelines de données en batch et en streaming.


Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
Comprendre les fondamentaux du data engineering et les principaux services AWS
Concevoir et déployer des data lakes et data warehouses sur AWS
Créer des pipelines de données en batch et en streaming
Optimiser les performances, la sécurité et l'orchestration des solutions de données
Exploiter les services AWS pour le traitement, le stockage et l'analyse des données

Public concerné
Professionnels souhaitant concevoir, développer, optimiser et sécuriser des solutions de data engineering à l'aide des services AWS.

Prérequis
Bonnes connaissances des concepts de base du machine learning, maîtrise de Python (NumPy, Pandas, Scikit-learn), notions de cloud et de la plateforme AWS. Des connaissances en SQL et Git sont un plus. Une bonne compréhension de l'anglais écrit est recommandée.

Certification
Certification « AWS Certified Data Engineer - Associate » (DEA-C01)
Comment passer votre examen ?

Modalités d'évaluation
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Programme de la formation

1
Rôles et fondamentaux du Data Engineering

  • Rôle et missions du Data Engineer.
  • Personas data et découverte des données.
  • Panorama des services de données AWS.

2
Outils et services AWS pour le Data Engineering

    Outils et méthodes

  • Orchestration et automatisation.
  • Sécurité, supervision et CI/CD.
  • Infrastructure as Code (IaC).
  • Réseau et optimisation des coûts.

3
Conception et mise en œuvre d'un Data Lake

  • Architecture et stockage.
  • Ingestion, catalogage et transformation des données.
  • Mise à disposition des données.
Travaux pratiques
Création d'un Data Lake sur AWS.

4
Optimisation et sécurisation d'un Data Lake

  • Formats de tables ouverts.
  • AWS Lake Formation.
  • Gestion des permissions, sécurité et gouvernance.
  • Dépannage.
Travaux pratiques
Automatisation de la création d'un Data Lake.

5
Architecture et conception d'un Data Warehouse

  • Principes des Data Warehouses.
  • Amazon Redshift Serverless.
  • Ingestion, traitement et exploitation des données.
Travaux pratiques
Déploiement d'un Data Warehouse.

6
Optimisation des performances

  • Supervision et optimization.
  • Optimisation des données et des requêtes.
  • Orchestration.

7
Sécurité des Data Warehouses

  • Authentification et contrôle d'accès.
  • Sécurité, audit et conformité.
Travaux pratiques
Gestion des accès avec Amazon Redshift.

8
Conception de pipelines de données batch

  • Principes de conception.
  • Services AWS pour le traitement batch.

9
Mise en œuvre de pipelines batch

  • Traitement, transformation et catalogage.
  • Diffusion des données.
Travaux pratiques
Mise en situation d'un Data Engineer.

10
Optimisation et sécurisation des pipelines batch

  • Optimisation, orchestration et sécurité.
Travaux pratiques
Orchestration avec AWS Step Functions et Spark.

11
Architectures de données en streaming

  • Conception de pipelines temps réel.
  • Ingestion, stockage, traitement et analyse.
Travaux pratiques
Analyse de flux avec Apache Flink.

12
Optimisation et sécurisation des solutions streaming

  • Optimisation des performances.
  • Sécurisation et conformité.
Travaux pratiques
Gestion des accès avec Amazon Managed Streaming for Apache Kafka (MSK).



Ce programme est une création originale, conçu par les équipes pédagogiques d'ORSYS Formation. Toute reproduction, représentation, adaptation ou exploitation, totale ou partielle, sans autorisation préalable écrite d'ORSYS, est strictement interdite. ORSYS se réserve le droit d'engager toute action nécessaire à la protection de ses droits de propriété intellectuelle.


Ce programme est une création originale, conçu par les équipes pédagogiques d'ORSYS Formation. Toute reproduction, représentation, adaptation ou exploitation, totale ou partielle, sans autorisation préalable écrite d'ORSYS, est strictement interdite. ORSYS se réserve le droit d'engager toute action nécessaire à la protection de ses droits de propriété intellectuelle.