LMi MAG 10 Nov 2021 - Flipbook - Page 38
© iSergey - iStock
RETOUR D’EXPÉRIENCE
Green-IT
cause de l’importance de la volumétrie, quasiment
100 millions de lignes à traiter chaque fin de mois nécessitant agrégation et retraitement mensuellement en
tenant compte de beaucoup de paramètres customisables pour calculer les prix énergétiques », explique
Alexandre Bergère, data architect chez Itnovem. « Il
fallait rejouer l’historique sur six mois à un an et cela
mettait beaucoup de temps avec une recette métier
assez longue. »
© Itnovem/SNCF
En parallèle, un projet d’infrastructure-as-code sur
Teraform a été mené. Objectif : faciliter l’écriture de code
et répondre au besoin d’évolution d’OME, en particulier
sur l’aspect de la montée à l’échelle pour prendre en
charge la volumétrie grandissante de données à traiter.
« On a choisi Databricks avec comme gros avantage
d’enlever HD Insight pour migrer tout le code en Scala et
utiliser le metastore Hive intégré sur lequel Qlik peut se
connecter et lire directement les données pour accéder
au datalake », poursuit Alexandre Bergère.
Un coût divisé par deux
PROFIL LINKEDIN
cutt.ly/linkedin-muller
« Chaque année, le groupe dépense plus d’un milliard d’euros
en achat d’énergie », Benoît Muller, responsable Factory Data & IA
Itnovem/SNCF.
38 / novembre 2021
Finalement, le groupe a pu mettre un terme à une double
facturation en termes de stockage, à la fois sur le datalake
et sur la base de données BI, et faire baisser la facture,
qui est passée de 55 000 à 22 000 euros avec Databricks.
« Cette réduction de coût a permis de mettre en place
et payer notre passage vers l’infrastructure-as-code »,
indique Alexandre Bergère. En termes de volumétrie,
près de 100 millions de lignes sont traitées mensuellement par Databricks, soit un total de plus d’un milliard