Java big data

samedi 17 octobre 2020
Rechercher une mission

Détails

Consultant Big Data
J2ee/Spring
privé
régie sur site

Informations

Paris, Ile-de-France
12 mois
2020-11-16
450Euros/jour

Minimum 8 ans d’expériences 450 euros HT

DEVELOPPEUR JAVA/J2EE/BIG DATA /ANGLAIS Dans le cadre de la mise en place de projets réglementaires, l’équipe est en charge de collecter et de stocker les données des transactions Pre-trade et Post-Trade dans le Datalake. Ce Datalake agit en tant que golden source pour différents consommateurs.

Mission : Développement d’une API (Rest et Spring boot) qui permet aux sources de charger leurs données au niveau Raw sur HDFS.

Développement d’un Job Spark pour mapper les données et les stocker dans une couche lake dans des tables Hbase.

Développement d’un Job Spark pour enrichir les données et appliquer des transformations en respectant la spécification fonctionnelle

Modélisation et développement d’une application Data Quality qui permet d’appliquer des règles (Accurency, completeness, Timelines, Uniqueness, SLA) sur les données chargées au niveau de la couche du Daas

Participation au Projet Inventory Management qui permet au client d’avoir à la demande une image des données du datalake selon des critères métiers (Business Entiy, Region, cutt off time)

Développement d’une application d’orchestration qui permet de lancer les jobs Spark quand les sources envoient des données et de suivre l’état des Jobs

Monitoring des deux projets DaasLoader et DataQuality en utilisant kibana et Elastic Search

Mise en place de l’architecture technique

Environnement technique : Java 8, Spring Boot, Jersey, Spark 2, Hive, Hbase, Hadoop, Avro, Oozie, Maven, Hudson, sonar, tomcat8, Intellij, kibana, Elastic Search, Git, PostgreSQL, Méthodologie Agile Scrum, JIRA

Langage Java (Scala et python)

Kafka, Spark (streaming) , HDP

Méthodes agiles et craft

Livrables Code Java

Documentation : JIVE/Wiki

Spécifications techniques

Autres informations Java 8, Spring, shell/Unix

Documentation : JIVE/Wiki

Kafka, Hive, Hbase, Spark

Méthodes agiles et craft

Cloud Computing : Automation Docker Pratique

Kubernetes Pratique

MS Azure Pratique

Data : BI, big data, datalake, Elastic Search & Kibana Maîtrise

Hadoop (Big Data) Expert

Hive Maîtrise

PostGreSQL Pratique

Spark Expert

Developpement inHouse : web, mobile, API Java Expert

Contexte linguistique Anglais Maîtrise

MINIMUM 8 ans d’expriences 450 euros HT

Minimum 4 ans en big data

Login