LMi-MAG 5 Dec 2020 - Flipbook - Page 47
Microsoft n’avait pas envisagé qu’un groupe d’utilisateurs
tweeterait des commentaires misogynes et racistes au bot Tay,
et qu’il apprendrait à partir de cette matière-là.
immédiatement à tweeter des commentaires racistes et
misogynes à Tay. Le bot a rapidement appris à partir de
cette matière et l’a incorporée dans ses propres tweets.
« Même si nous nous étions préparés à plusieurs façons
d’abuser le système, nous avons fait une omission de
taille sur cette attaque spécifique. Le résultat a été que
Tay a tweeté des mots et des images très inappropriés et
répréhensibles », a écrit Peter Lee.
L’outil de recrutement basé sur l’IA d’Amazon
qui recommandait seulement des hommes
Comme beaucoup de grands groupes, Amazon est en
quête d’outils pour aider ses équipes RH à examiner les
candidatures et identifier les meilleurs postulants. En
2014, Amazon a commencé à travailler sur un logiciel
de recrutement basé sur l’IA dans ce but. Il y avait seulement un problème : le système avait une nette préférence pour les candidats masculins. En 2018, l’agence
Reuters annonce qu’Amazon abandonne ce projet.
Le système d’Amazon attribuait des notes aux candidats allant de 1 à 5. Mais les modèles de machine learning au cœur du système étaient entraînés à partir de
dix ans de CV envoyés à Amazon – la majorité d’entre
eux étant envoyés par des hommes. À cause des données
utilisées pour l’apprentissage, le système a commencé à
pénaliser les phrases dans les CV qui contenaient le mot
« femmes » et a même rabaissé la notation des candidats
venant d’universités réservées aux femmes. À l’époque,
Amazon indiquait que l’outil n’avait jamais été utilisé par
ses recruteurs pour évaluer les candidats. L’entreprise a
tenté de le modifier pour le rendre neutre, mais a finalement estimé qu’elle était dans l’impossibilité de garantir
que le logiciel n’apprendrait pas d’autres façons discriminatoires de trier les candidats et y a mis fin.
Les applications analytiques de Target
qui violaient la vie privée
En 2012, un projet analytique du géant de la distribution
Target a illustré jusqu’où les entreprises pouvaient aller
dans la connaissance de leurs clients à partir de leurs données. Selon le New York Times, en 2002 le département
marketing de Target a commencé à se demander s’il était
possible de déterminer les clientes qui sont enceintes.
Cette demande a débouché sur un projet d’analyse prédictive, devenu célèbre pour avoir conduit l’enseigne à
révéler à la famille d’une adolescente que celle-ci était
enceinte. Ce cas a ensuite nourri une profusion d’articles
et de blogs marketing, mentionnant l’incident pour illustrer des conseils afin d’éviter les dérives.
Le département marketing de Target voulait identifier
les femmes enceintes, car durant certaines périodes
de la vie, notamment la grossesse, les individus ont de
fortes chances de modifier radicalement leurs habitudes de consommation. Si Target pouvait cibler les clients
dans une telle période, il pourrait par exemple cultiver
de nouveaux comportements chez ces derniers, en les
incitant par exemple à venir dans ses magasins pour leurs
achats alimentaires, de vêtements ou d’autres biens.
Comme d’autres gros distributeurs, Target collectait des
données sur ses clients par le biais de codes d’achats, des
cartes de crédit, d’enquêtes et autres. L’enseigne a croisé
celles-ci avec des données démographiques et des données achetées auprès de tierces parties. En les combinant
toutes, l’équipe analytique de Target a pu déterminer
qu’environ 25 produits vendus par le groupe pouvaient
être rapprochés pour générer un score « prédictif de
grossesse ». Le département marketing pouvait ensuite
s’adresser aux clientes avec un score élevé en leur envoyant des coupons de réduction et des messages ciblés.
Une étude supplémentaire aurait révélé qu’étudier le statut
reproductif des clients pouvait être mal perçu par certains
d’entre eux. Selon le Times, l’entreprise n’a pas renoncé
à son marketing ciblé, mais elle a commencé à y inclure
des publicités pour des produits dont elle sait qu’ils ne
sont pas achetés par les femmes enceintes – affichant par
exemple des publicités pour des tondeuses à gazon à côté
de publicités pour des couches – afin que la sélection de
produits présentée paraisse aléatoire au client.
APPROFONDIR
LIRE EN LIGNE
Article
cutt.ly/article-LMi5-ia
47
