Formation Formation Apache Spark 3.5 & Databricks

Module 1 : INtroduction au Big Data & Spark

Écosystème Big Data moderne

Architecture Apache Spark 3.5

Concepts RDD, DataFrames et Datasets

Module 2 : Spark SQL & DataFrames

Lecture et écriture des données

Requêtes SQL distribuées

Fonctions avancées et transformations

Module 3 : PySpark pour le Data Engineering

Développement avec PySpark

Traitement batch et streaming

Gestion des erreurs et bonnes pratiques

Module 4 : Databricks Platform

Présentation de Databricks Lakehouse

Notebooks, clusters et jobs

Gestion collaborative et versioning

Module 5 : Delta Lake & gestion des données

Architecture Delta Lake

ACID transactions

Versioning, Time Travel et optimisation

Module 6 : Spark Streaming

Structured Streaming

Ingestion temps réel

Cas d’usage streaming

Module 7 : Performance & optimisation

Partitionnement et caching

Tuning Spark 3.5

Gestion des ressources

Module 8 : Atelier pratique / Projet final

Création d’un pipeline Big Data complet

Ingestion, transformation et analytics
Exploitation sur Databricks