LMi MAG 10 Nov 2021 - Flipbook - Page 41
INTERVIEW DE MAX BRUDEY : CRÉER UNE ARCHITECTURE
MODERNE DE DONNÉES AVEC HDP ET APACHE HADOOP
Entretien
la forme d’applications
Yarn, il faut donc un
cutt.ly/iTV-Max-Brudey
cluster Hadoop fonctionnel pour exécuter
la simulation. « En fait, nous exécutons un cluster Yarn
au sein d’un cluster Yarn, mais avec des contraintes de
ressources moindres », indiquent les ingénieurs IT. Le
driver et la charge de travail peuvent être configurés pour
monter un cluster et rejouer des charges de tailles arbitraires, ce qui signifie que DynoYarn peut simuler une
grande variété de scénarios : on peut rejouer des problèmes de performances rencontrés en production ou
prédire les performances du gestionnaire de ressources
sur de futures charges de travail et clusters.
Au-delà de ces prévisions sur la montée en puissance des
clusters, LinkedIn utilise DynoYarn pour évaluer l’impact
d’importantes fonctionnalités avant de les mettre en
production, mais aussi pour assurer la parité des performances lors de la mise à niveau des clusters vers les
versions supérieures. « Par exemple, nous avons utilisé
DynoYarn pour comparer les performances du gestionnaire de ressources lors de la mise à niveau de nos
clusters de la version 2.7 de Hadoop à la version 2.10 »,
illustre l’équipe IT, en ajoutant l’avoir aussi utilisé pour
faire de l’A/B testing sur l’optimisation du gestionnaire de
ressources. Compte tenu de l’intérêt présenté par l’outil
pour aider son IT à établir sa feuille de route sur Yarn et
déployer les mises à jour, le réseau social l’a ouvert au
bénéfice de la communauté Yarn.
APPLICATION DELAYS (minutes)
60
50
40
30
20
10
0
1.00
1.25
1.50
1.75
2.00
Multiplier
P50
P75
P90
P95
P99
Avec l’outil DynoYarn, LinkedIn simule des charges de travail Yarn
pour tester le passage à l’échelle sur les grands clusters Hadoop
Yarn et prédit les performances sur de futures charges.
Multiplier
Number of Node
Managers
Application
Per Day
P95 application
delays (minutes)
1
7152
237472
4.633
1.5
10728
354600
8.769
1.6
11443
377962
10.278
1.7
12158
401440
19.653
1.8
12873
424540
22.815
1.9
13588
441090
43.029
En pleine migration vers Azure
Dans son billet, l’équipe technique de LinkedIn décrit
aussi Robin, un service interne qui permet de faire passer les clusters à l’échelle horizontalement au-delà de
10000 nœuds. Celui-ci se présente comme un équilibreur
de charges qui distribue dynamiquement les applications
Yarn pour multiplier les clusters Hadoop. Au plus haut
niveau, Robin fournit une simple API Rest qui retourne
un cluster Yarn pour une tâche donnée.
Racheté par Microsoft en 2016, LinkedIn est actuellement
en pleine migration vers Azure. Le réseau social étudie
en particulier la meilleure façon de gérer et de passer
à l’échelle son cluster Yarn dans le cloud. Là encore,
il y a un certain nombre de défis à relever pour faire
passer les 10 000 nœuds ou plus du cluster Hadoop Yarn
on premise vers le cloud, dont la prise en compte des
« voisins bruyants », une planification tenant compte
de l’utilisation des disques pour réduire les coûts et le job
caching.
APPROFONDIR
ÉCOUTER EN LIGNE
Podcast
cutt.ly/podcast-linkedin-teste
LIRE EN LIGNE
Article
cutt.ly/article-linkedin-teste
41