Data Engineer / Lead BigData CDI

Votre mission :

Au coeur de l’équipe technique, votre mission sera principalement de :

  • L’implémentation et la mise en place des traitements de données dans leur intégralité (data pipeline) :
    • Collecte et ingestion de flux de données
    • Modélisation et nettoyage
    • Traitement et transformation de la donnée collectée,
    • Contrôle de qualité / pertinence et détection des anomalies
    • Restitution des données sous divers formats
  • L’industrialisation et le déployement des pipelines de traitements « On Premise » et dans le Cloud (AWS, Azure)
  • Le contrôle de la gouvernance des données et la mise en place de process MDM :
    • Rapprochement de données de différentes sources non homogènes
    • dédoublonnage,
    • Normalisation,
    • Historisation
    • Calcul d’indicateurs et d’agrégats
  • L’ordonnancement et la planification des traitements dans les environnements de production
  • La participation à l’évolution de la stack technique et au choix des outils (Framework interne, technologies BigData, Cloud,…)
  • La participation à la veille technologique et l’information en permanence des nouveautés dans le domaine
  • La collaboration avec une équipe de DevOps pour la mise en place des outils BigData et la vérification de la sécurité des données.
  • L’optimisation les traitements, la revue des codes

Votre profil :

Vous justifiez d’une expérience professionnelle dans la data et avez déjà travaillé sur un environnement Bigdata avec Spark et Hadoop.

Les Compétences techniques requises :

  • Maitrise de SQL
  • Hadoop / Spark
  • Scala/Java
  • AWS (EMR, S3, EC2…)

Les Compétences supplémentaires :

  • Très bonne compréhension de la data (métier du marketing serait un plus)
  • Aptitude à récolter et analyser avec précision des informations
  • Connaissance du travail en agilité et force de proposition
  • Capacité à communiquer tant dans un contexte technique que métier
  • Partage et collaboration avec les équipes en place

Les plus :

  • Connaissance des environnements SQL Server, SSIS
  • Hbase
  • Azure (HDInsight, Storage, …)

  • Minimum 2 ans
  • Paris 17 – 75