Solution Architect

Télécommande: maillot, New Jersey, États-Unis

Salaire : 80.00 USD par heure

Code du travail: 349653

Date de fin: 2024-06-20

Jours restants: 6 jours, 16 heures restantes

Responsabilités quotidiennes :

  • Expérience dans la mise en œuvre d'AWS Data Lake et de publication de données à l'aide de Databricks, Airflow et AWS S3
  • Plus de 8 ans d'expérience en ingénierie de données Databricks pour créer des solutions Data Lake à l'aide des services AWS.
  • Connaissance du cluster Databricks et de l'entrepôt SQL, Expérience dans la gestion des fichiers Delta et Parquet
  • Expérience en Data Engineering et création de Data Pipeline sur Databricks
  • Expérience dans l'outil de création de données (DBT) utilisant Python et SQL
  • Expérience approfondie en SQL, PL/SQL, jointure complexe, fonction d'agrégation et DBT, Python, Data frames et Spark
  • Expérience dans Airflow pour l'orchestration des tâches, la configuration des dépendances et la planification des tâches
  • Connaissance du catalogue Databricks Unity et des modèles de consommation
  • Connaissance de GitHub et des pipelines CI/CD, AWS Infra comme le rôle IAM, les secrets et les compartiments S3
  • Une expérience dans les sciences de la vie est indispensable.
     

Doit avoir:

  • Responsable de la définition de l'architecture technique et du paysage applicatif.
  • Responsable de la création de scripts SQL et Python sur Databricks et DBT (outil Data Build) pour créer des pipelines de données afin de créer un Data Mart opérationnel.
  • Responsable de la création de pipelines de données pour le traitement des données des fichiers Delta au format ODM pour la consommation de données en aval
  • Responsable de l'identification des relations entre les ensembles de données, des critères de jointure et de leur mise en œuvre dans le code pour le développement du modèle ODM.
  • Responsable de la création du modèle Delta Lake pour ODM et de la configuration du modèle de consommation à l'aide du catalogue Databricks Unity
  • Responsable de la création de DAG Airflow pour l'orchestration des tâches et la planification des tâches de pipeline de données
Exigence d'emploi
  • lac de données
  • databricks
  • AWS
Contactez un recruteur
  • Recruteur
  • Email
  • Téléphone
  • Nayan Agarwal
  • nayan.agrawal@collabera.com
Appliquer maintenant
Appliquer maintenant
icône de fermeture

©2024 Collabera. Tous droits réservés.