Avec preuve
Data engineering
Pipelines, lake, warehouse. Base 2021 : formation Sparkify, pas un client.
Explication simple
Les données arrivent sales, en retard, en double. L’ingénierie, c’est les rendre utilisables sans mentir sur leur origine.
Explication technique
Ingest, schéma, partitionnement, quality checks, warehouse. Spark / S3 / Redshift dans le cursus Udacity Sparkify.
Preuves
Repos de formation : Data-Lake-Project, Data-Warehouse-Project. Pas un projet client. Le Lab actuel s’appuie sur cette base, il ne la revend pas comme mission pro.