Data Engineer / Lead BigData CDI

Votre mission :

Au coeur de l’équipe technique, votre mission sera principalement de :

  • L’implémentation et la mise en place des traitements de données dans leur intégralité (data pipeline) :
    • Collecte et ingestion de flux de données
    • Modélisation et nettoyage
    • Traitement et transformation de la donnée collectée,
    • Contrôle de qualité / pertinence et détection des anomalies
    • Restitution des données sous divers formats
  • L’industrialisation et le déployement des pipelines de traitements « On Premise » et dans le Cloud (AWS, Azure)
  • Le contrôle de la gouvernance des données et la mise en place de process MDM :
    • Rapprochement de données de différentes sources non homogènes
    • dédoublonnage,
    • Normalisation,
    • Historisation
    • Calcul d’indicateurs et d’agrégats
  • L’ordonnancement et la planification des traitements dans les environnements de production
  • La participation à l’évolution de la stack technique et au choix des outils (Framework interne, technologies BigData, Cloud,…)
  • La participation à la veille technologique et l’information en permanence des nouveautés dans le domaine
  • La collaboration avec une équipe de DevOps pour la mise en place des outils BigData et la vérification de la sécurité des données.
  • L’optimisation les traitements, la revue des codes

Votre profil :

Vous justifiez d’une expérience professionnelle dans la data et avez déjà travaillé sur un environnement Bigdata avec Spark et Hadoop.

Les Compétences techniques requises :

  • Maitrise de SQL
  • Hadoop / Spark
  • Scala/Java
  • AWS (EMR, S3, EC2…)

Les Compétences supplémentaires :

  • Très bonne compréhension de la data (métier du marketing serait un plus)
  • Aptitude à récolter et analyser avec précision des informations
  • Connaissance du travail en agilité et force de proposition
  • Capacité à communiquer tant dans un contexte technique que métier
  • Partage et collaboration avec les équipes en place

Les plus :

  • Connaissance des environnements SQL Server, SSIS
  • Hbase
  • Azure (HDInsight, Storage, …)

  • Minimum 2 ans
  • Paris 17 – 75
Commentaires
  • Bruce Sutton dit :

    Neque turpis vitae eros praesent varius. Egestas pellentesque urna blandit, sed ac leo ut mi, nam wisi, laborum donec erat amet.

    • Vincent Adams dit :

      Nec ut tellus ornare, orci tortor suspendisse aliquet sollicitudin rhoncus, maecenas suscipit cras porttitor vestibulum vivamus.

  • Jena Lambert dit :

    Eu et tellus vestibulum taciti et sit, nunc enim ipsum donec aliquam vitae, per mauris, amet ultrices. Pellentesque amet proin ut vestibulum eleifend nam, wisi vel tellus pulvinar mi risus consectetuer, sed faucibus facilisi, accumsan nam.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *