Toujours à la recherche de nouveaux défis, Guillaume ne lésine pas sur les moyens mis en œuvre pour communiquer ses nouvelles connaissances! Anticorps des temps modernes il challenge ses collègues afin d’en tirer le meilleur. Attention, cette passion est virale!
DARVA est une entreprise experte en solutions web et EDI (Echanges de Données Informatisés) basée à Niort et destiné à tous les acteurs professionnels de l'assurance.
DARVA souhaitant s'appuyer de plus en plus sur la masse de données qu'ils traitent, ils leur est nécessaire d'intégrer celles-ci dans un datalake accessible à tous les services.
Dans ce but, nous avons agis sur le stockage des données liées aux sinistres au travers d'un batch NodeJS. Il se doit d'être modulaire, réutilisable, et très performant puisque plusieurs gigaoctets de données doivent être traitées dans une courte fenêtre de temps.
Grâce aux streams NodeJS les données sont décodées, désérialisées, puis enregistrées en base de données MongoDB au fil de l'eau.
Afin de maitriser la performance du batch, nous avons mis en place des métriques permettant de suivre la vélocité de nos algorithmes tout au long de nos développements.
Une fois cette mission terminée, nous avons réalisé le POC d'une interface graphique permettant de mieux comprendre la structure des données concernées.
Missions :
Développement d'un Batch d'intégration de données
Algorithme et métriques de performance
Passage de connaissances aux équipes internes
Proposition d'un POC d'une interface graphique de naviguation dans la structure des données
