Rôles et responsabilités:
- Travaillez avec les parties prenantes de l'entreprise et les équipes interfonctionnelles pour comprendre les exigences en matière de données et fournir des solutions de données évolutives.
- Concevoir, développer et maintenir des processus ETL robustes pour extraire, transformer et charger des données provenant de diverses sources dans notre plateforme de données.
- Créez des pipelines de données par lots et événementiels à grande échelle à l'aide de la topologie de plateforme de données hybrides dans le cloud et sur site.
- Travailler en étroite collaboration avec les architectes de données pour examiner les solutions et les modèles de données et garantir le respect des directives d'architecture de la plateforme de données et des meilleures pratiques d'ingénierie.
- S'approprier les livrables de bout en bout et garantir un développement logiciel de haute qualité tout en répondant à toutes les exigences opérationnelles et fonctionnelles en temps opportun.
- Mettre en œuvre et appliquer les normes de qualité des données et les meilleures pratiques tout en collaborant avec les équipes de gouvernance des données pour garantir la conformité aux politiques et réglementations en matière de données.
- Optimisez les flux de travail d’intégration de données pour plus de performances et de fiabilité.
- Dépanner et résoudre les problèmes d’intégration et de traitement des données.
- Tirez parti des meilleures pratiques en matière d’intégration et de livraison continues à l’aide des pipelines DataOps.
- Appliquer le design thinking et l’état d’esprit agile en travaillant avec d’autres ingénieurs et parties prenantes de l’entreprise pour expérimenter, itérer et mettre en œuvre en permanence de nouvelles initiatives.
- Restez informé des technologies émergentes et des tendances dans le domaine de l’ingénierie des données.
- Diriger, encadrer et inspirer une équipe d’ingénieurs de données pour atteindre des niveaux de performance élevés.
Incontournables:
- 5 à 7 ans d'expérience dans la création de pipelines de données par lots et en temps réel exploitant les technologies Big Data telles que Hadoop, Spark, NiFi, Kafka et Airflow.
- Maîtrise de l'écriture et de l'optimisation de requêtes SQL et d'au moins un langage de programmation comme Java, Scala et/ou Python.
- Expérience avec les plateformes de données basées sur le cloud (Snowflakes, AWS, Azure, GCP)
- Expérience de travail avec les plateformes Docker et Kubernetes.
- Expérience dans le respect des meilleures pratiques DevOps et agiles.
- Esprit d'apprentissage continu et plaisir à travailler sur des problèmes ouverts
Agréable d'avoir:
- Expérience avec OpenShift, S3, Trino, Ranger et Hive
- Connaissance de la création de tableaux de bord à l'aide de Prometheus et Grafana
- Connaissance des outils et bibliothèques de science des données