Passionné d'informatique depuis toujours, j'ai une appétence particulière pour les nouvelles technologies tels que le Big Data, l'IA, l'IOT, ... De plus, l'informatique est en constante évolution et où le partage et la pédagogie sont primordiale, c'est pourquoi je donne des cours à l'IM²AG et suis aussi formateur autour de divers sujet technique. Pour finir, la cybersécurité est un domaine qui m'a toujours passionné et dans lequel j'interviens régulièrement.
Dal’Hy est le datalake central de l’ensemble des données de EDF Hydro. Ce datalake ingère des données diverses (séries temporelles, fiche d’évènements, référentiel divers, …) pour les fournir a divers cas d’usage (API, IHM, IA, …)
Equipe de 1 puis montée progressive à 8 coéquipiers
Détails de l'expérience
Projet Big Data (Hadoop)
Mise en place de divers cas d’usage : o Traitement massif de données timeseries et geotimeseries : qualification automatique, corrections statistiques, agrégation temps réel, … o Lancement de code natif (fortran, C/C++) massivement au travers de Spark o Synchronisation de données (fichiers, base de données, …) et traitement (Sqoop, Hive, Spark, …) o Restitution temps réel de données au travers d’une API o Création d’endpoint générique pour la sollicitation Hive/HBase/ElasticSearch o Indexation full text et geospatial (avec ou sans timeseries) de données
Architecture globale de la solution
Diverses études de migration hors Hadoop (on Premise, Cloud,
Création d’API et de pont vers R afin que les prévisionnistes puissent consommer facilement la donnée
