EPSILON FranceData Engineer
Mar. 2017 - Mar. 2018Région de Paris, FrancePROJET - Caisse des dépôts & Consignation
Implémentation d’un Datalake
RÉALISATIONS
Implémentation de workflow d'ingestion pour les fichiers plats (CSV, XML)
Implémentation de workflow d'ingestion pour les bases de données
Implémentation de jobs spark pour le nettoyage et traitement des données ingérées
Implémentation de jobs spark pour le l'exposition des données pour des utilisations metiers (Tableau , data science ...)
ENVIRONNEMENT TECHNIQUE
Hortonworks, Hadoop, Spark, Hive, Kafka, PostgreSQL, Python,
Git, Jupyter, Linux, Kerberos, Scrum PROJET - LA POSTE
Détection de fraude
RÉALISATIONS
Définition d’une nouvelle architecture
Migration de données de l’ancienne architecture vers la nouvelle et alimentation des datasets par des topics Kafka
Mise en place de datasets calculés
Réécriture de modèles de fraudes existantes et création de nouveaux modèles de fraudes ENVIRONNEMENT TECHNIQUE
Cloudera, Hadoop, Spark, Hive, Kafka, PostgreSQL, Scala, Gitlab, Jenkins, Maven, Linux, Kerberos, Scrum