Technical Data engineer - Big Data Développeur

About
Location Ile-de-France zones 2 à 3 Start Date Mars 2020, La Défense Duration Longue
Experience De l'ordre de 3 ans minimum sur kafka Hadoop en développement Language Anglais technique écrit / lu
Mission
Notre client recherche un Technical Data Enginer, dans le cadre de la mise en oeuvre de ses plateformes Big Data
Mission : Développer les outils logiciels pour la collecte, le traitement et la visualisation de données

Activités :
- Développer les outils d'intégration de la plateforme Big Data
- Veiller à l’interopérabilité des systèmes mis en place
- Respecter les règles de gouvernance des données, de cybersécurité
- Rédiger et maintenir la documentation associée
-  Mise en œuvre & exploitation (Kafka / Hadoop / HBase)
   ==> Linux / Shell / Analyse de logs
- Développement  (Spark Streaming)
   Langages :
         Api BigData pour Java et/ou Scala (Expertise +++) 
    Connecteurs Spark pour :
        Kafka (Expertise +++)     
        Hbase (Expertise +++)   
        Hive (Expertise +++) 
 - Création d’un socle pour delivery  (Ex : Maven, etc…)
-  Organisation des sources du projet (Connecteur, Mapping, Configuration, etc…)
 - Assurer une bonne modularité du Socle pour réutilisation
-  Prise en charge du multi-environnements
-  Bonnes pratiques pour 
         Alimentation au fil de l’eau d’une base HBase et/ou Hive depuis une source de données validant les propriétés ACID
         Assurer le stockage et la consultation au fil de l’eau (Via HBase & Hive & autres éventuellement)
 
Formation : Bac+4/5

Requis/Mandatory
Maîtrise avancée de l’environnement Big Data :
o Kafka
o Hadoop
o Spark Streaming (Expertise +++)
o Hbase (Expertise +++)
o Hive (Expertise +++)

Autonomie

Apprécié/Nice to have
Connaissances des solutions BigData
=> Solutions Hadoop sécurisée (TLS / Kerberos / etc…)
o BlueData
o Hortonworks

Langages :
o Api BigData pour R
o Api BigData pour Python
o Api BigData pour Java et/ou Scala (Selon expertise précédente)

Industrialisation
o Ansible
o Ansible Galaxy
o Jenkins
Ref
7210-DTE
Date of publication
13/02/2020
Status
Open
Published by
ADM01
Contract type
CDI Axande ou freelance
Sujet(s)
Data

Forward Position