Dans le cadre du renforcement de sa Direction Data, EQDOM recrute un(e) Senior Data Engineer chargé(e) de concevoir, développer et industrialiser les pipelines de données alimentant la Data Platform afin de mettre à disposition des données fiables, structurées et exploitables pour les équipes métiers et BI.
Vos principales missions
1- Conception et développement des pipelines de données
Concevoir et développer les flux d'ingestion, de transformation et d'intégration des données.
Intégrer des données provenant de différentes sources internes.
Développer des traitements robustes, industrialisés et réutilisables en utilisant Apache NiFi, SQL, Python / PySpark et dbt.
Mettre en œuvre des mécanismes d'historisation et de gestion des traitements incrémentaux.
Garantir la qualité, la fiabilité et la performance des flux de données.
2- Data Platform & Data Lake
Participer à la conception et à l'évolution de la Data Platform.
Organiser et structurer les données selon l'architecture Bronze / Silver / Gold.
Manipuler les données au sein d'environnements MinIO et Apache Iceberg.
Contribuer à la conception des modèles analytiques et à la préparation des datasets destinés aux usages BI et Data Analytics.
Optimiser les performances des traitements et des accès aux données.
3- Modélisation et transformation des données
Concevoir des modèles de données répondant aux besoins métiers.
Définir les tables de faits, dimensions, granularités et clés de gestion.
Traduire les règles métiers en transformations techniques performantes.
Développer les modèles de transformation via dbt.
Collaborer étroitement avec les équipes BI afin d'assurer la cohérence et la fiabilité des données diffusées.
4- Qualité, tests et gouvernance
Mettre en place des contrôles qualité sur les données et les traitements.
Identifier, analyser et corriger les anomalies de données.
Développer et exécuter les tests techniques et fonctionnels des pipelines.
Documenter les traitements, les sources de données et les règles de gestion.
Participer à la définition et au respect des standards de développement Data.
5- Industrialisation & DataOps
Préparer et accompagner les mises en production.
Collaborer avec les équipes DataOps sur l'orchestration et le déploiement des pipelines.
Utiliser les bonnes pratiques de versioning avec Git.
Participer à la mise en place et à l'amélioration des pipelines CI/CD.
Assurer le support, l'analyse et la résolution des incidents liés aux traitements Data.
Contribuer à la robustesse, à la maintenabilité et à l'évolution de la plateforme.
Profil recherché
Diplôme Bac+5 en Informatique, Data Engineering, Systèmes d'Information ou équivalent.
Expérience confirmée en tant que Data Engineer, idéalement dans des environnements Data Platform modernes.
Bonne maîtrise de SQL, Python, PySpark, dbt et Apache NiFi.
Connaissance des architectures Data Lake et des concepts de modélisation analytique.
Expérience des outils de versioning (Git) et des pratiques d'industrialisation (CI/CD).
Qualités personnelles
Rigueur et sens du détail.
Esprit analytique et forte capacité de résolution de problèmes.
Autonomie et sens des responsabilités.
Excellentes capacités de communication avec des interlocuteurs techniques et métiers.
Esprit collaboratif et volonté de partager les connaissances.
Pourquoi nous rejoindre ?
Rejoignez une entreprise en pleine transformation Data et participez à la construction d'une plateforme moderne à fort impact métier, au sein d'un environnement stimulant, innovant et collaboratif.