Data engineer confirmes

jeudi 27 décembre 2018 Offre clôturée
Rechercher une mission

Détails

Chef de projet technique
Chef de projet
Service
régie sur site

Informations

Hauts-de-France, France
6 mois renouvelable
2019-01-20
NC
Les data engineers viendront en renfort d’une équipe déjà en place. Dans un premier temps, il s’agira d’une migration d’un projet en production d’une plateforme on premise vers la plateforme cCloudu Azure, puis d’implémenter ensuite quelques évolutions fonctionnelles après la migration.
Ils seront ensuite amenés à travailler sur d’autres projets à démarrer à partir de la fin de l’année 2018. Un des projets probables concernera l’ingestion, la transformation et le croisement de mutiples données du réseau client dans une optique de reporting objectif pour la surveillance et la maintenance de l’infrastructure générale.
Les tâches seront : Spécifications techniques-Release plan des différents livrables-Ingestion et mise en qualité des données selon les bonnes pratiques du client-Traitement, agrégation et sauvegarde des données avec python-Intégration continue (versionning, packaging, tests et édéploiemente) avec Git-SBT-Nexus-Jenkins-Exposition des APIs sous forme de webservices Rest-Configuration des briques logicielles-Monitoring des briques logicielles avec OMS (Azure) ou Nagios-Travailler en étroite collaboration avec le chef de projet, PO, OPS et architectes-Participation aux activités d’aarchitecturee, cconceptiono et développement-Apporter son savoir-faire sur un plan technique et méthodologique-Assurer la mise en recette et en production-Assurer le Run applicatif lors de phase de vérification de service régulier, ainsi que le maintien en conditions opérationnelles des applicatifs
Les compétences attendues sont : Justification de 2 ans minimum d’expérience dans le domaine du iBig Dataa, 1 an minimum d’expérience dans le cCloudu Azure et au moins 3 ans dans le développement (Java/J2EE ou scala)-Maîtrise de Spark Scala et des notions en python-Maîtrise des composants iBig Dataa : aHadoopo (Yarn & HDFS) , Spark 2, Hive-Maîtrise d’une ou plusieurs aBases De Donnéese Sql/NoSql-Maîtrise de l’intégration continue : sbt/maven, Gitflow, jenkins, nexus-Maîtrise des APIs REST-Connaissances dans le cycle de vie des données-Connaissances dans l’aarchitecturee microservice
Environnement technique :
Environnements cCloudu Azure ; poste local soit Linux soit éventuellement Windows, selon les préférences