Notre client recherche un Technical Data Enginer, dans le cadre de la mise en oeuvre de ses plateformes Big Data
Mission : Développer les outils logiciels pour la collecte, le traitement et la visualisation de données
Activités :
- Développer les outils d'intégration de la plateforme Big Data
- Veiller à l'interopérabilité des systèmes mis en place
- Respecter les règles de gouvernance des données, de cybersécurité
- Rédiger et maintenir la documentation associée
- Mise en œuvre & exploitation (Kafka / Hadoop / HBase)
==> Linux / Shell / Analyse de logs
- Développement (Spark Streaming)
Langages :
Api BigData pour Java et/ou Scala (Expertise +++)
Connecteurs Spark pour :
Kafka (Expertise +++)
Hbase (Expertise +++)
Hive (Expertise +++)
- Création d'un socle pour delivery (Ex : Maven, etc…)
- Organisation des sources du projet (Connecteur, Mapping, Configuration, etc…)
- Assurer une bonne modularité du Socle pour réutilisation
- Prise en charge du multi-environnements
- Bonnes pratiques pour
Alimentation au fil de l'eau d'une base HBase et/ou Hive depuis une source de données validant les propriétés ACID
Assurer le stockage et la consultation au fil de l'eau (Via HBase & Hive & autres éventuellement)
Formation : Bac+4/5
