Soufiane Benamar
Developpeur Python (IA / Data)
Data Engineering
Data Science
Databases
Python
Innovation
36 ans
Lyon (69007) France
Situation professionnelle
En fin de contrat
En recherche active
Présentation
Ingénieur Informatique dont l'intérêt se tourne vers les nouvelles technologies, l'innovation, la l'ingénierie de données et la data science (plus particulièrement le Deep Learning et l'IA en général).
En dehors du domaine Informatique, mes passions sont essentiellement la musique, les jeux vidéos, les arts martiaux, les voyages et l'E-Sport (compétiteur sur SSBU et SF6).
Mon objectif professionnel est de me consacrer intégralement à la data, avec pour finalité de me spécialiser en tant que Data Scientist.
En dehors du domaine Informatique, mes passions sont essentiellement la musique, les jeux vidéos, les arts martiaux, les voyages et l'E-Sport (compétiteur sur SSBU et SF6).
Mon objectif professionnel est de me consacrer intégralement à la data, avec pour finalité de me spécialiser en tant que Data Scientist.
Data Engineer
Enedis
Décembre 2023
à mars 2024
CDD
Lyon
France
- Ma mission s'est effectuée dans un contexte Big Data, dans une équipe de Data Engineers, en renfort afin de travailler en autonomie sur un besoin établi principalement orienté développement Python / Pandas.
- Migration d'un pipeline de traitement analytique / statistique :
- Migration d'une architecture R/Oracle vers Python/PostgreSQL, avec la modélisation d'un nouveau schéma BDD et la création d'un pipeline ETL de migration pour s'adapter aux nouvelles structures tout en assurant une continuité dans les processus d'analyse et de traitement
- Optimisation des flux de données en batch processing et adaptation aux différences générationnelles entre les deux environnements, pour garantir une transition fluide.
- Conversion des procédures SQL complexes (centaines de lignes) en pipelines ETL orientés data (Python, Pandas et NumPy) pour traiter des jeux de données volumineux bidimensionnels multi-sources en batch.
- Développement d'agrégats personnalisés avec Pandas pour optimiser le traitement des données volumineuses permettant des transformations spécifiques tout en améliorant les performances des analyses avancées et en appliquant un monitoring de données (cleaning, filtering, etc...)
- Préparation de différents jeux de données à destination d'une BDD cible et d'un reporting Excel
- Centralisation des scripts + factorisation + ajouts de fonctionnalités connexes
- En résumé simplifié : Migration d'architecture -> multi-sourcing -> conversion + traitements analytiques complexes -> injection des données + génération de reporting Excel
- Migration d'une architecture R/Oracle vers Python/PostgreSQL, avec la modélisation d'un nouveau schéma BDD et la création d'un pipeline ETL de migration pour s'adapter aux nouvelles structures tout en assurant une continuité dans les processus d'analyse et de traitement
- Automatisation d'opérations :
- Conception / développement d'un robot d'automatisation pour effectuer des opérations en masse à distance sur des cartes E-SIM, en contournant l'absence d'API via l'interaction avec un site web externe dédié.
- Code Python (objet + Selenium) pour simuler les actions de l'utilisateur et automatiser le processus de correction d'erreurs sur les cartes, garantissant ainsi une réduction des interventions manuelles.
- Conception / développement d'un robot d'automatisation pour effectuer des opérations en masse à distance sur des cartes E-SIM, en contournant l'absence d'API via l'interaction avec un site web externe dédié.