Herwig Prammer/Reuters

Les algorithmes sont de plus en plus présents dans notre quotidien — que ce soit pour souscrire à une assurance ou pour postuler à des offres d'emploi (si l'algorithme ne sélectionne pas votre CV de la pile, bon courage).

Même s'il semblerait que ces calculs d'ordinateur ressemblent à des mesures objectives pour savoir si quelqu'un est qualifié pour un certain poste ou pour obtenir un prêt immobilier, il y a toujours un parti pris humain derrière.

Cathy O'Neil, data scientist et fondatrice d'ORCAA Algorithmic Auditing, a asséné un message au public lors des conférences TED de 2017: "Nous demander à nos suzerains algorithmiques de nous rendre des comptes."

A l'occasion de l'un des TED talks les plus populaires de ce mercredi soir, Cathy O'Neil a exposé les différentes manières dont les algorithmes pouvaient se tromper

Elle a raconté l'histoire d'un modèle algorithmique à valeur ajoutée pour évaluer les enseignants de la ville de New York, qui avait apparemment pénalisé d'excellents professeurs, comme l'a découvert le New York Times

Et Cathy O'Neil a aussi évoqué les enquêtes du site ProPublica sur la discrimination raciale des algorithmes. Le site a notamment remarqué que les algorithmes faisaient preuve de discrimination en matière de peines de prison, de primes d'assurance automobile, et autres.

Cathy O'Neil a avancé une expérience intéressante: Et si Fox News décidait de prendre un nouveau départ après les récents scandales d'harcèlement sexuel en utilisant un algorithme pour recruter de nouvelles personnes? Et si cet algorithme se basait sur les données RH de ces 20 dernières années pour savoir qui pourrait réussir à l'avenir? "L'algorithme élimineraient les femmes car elles n'ont pas le profil des personnes qui autrefois ont réussi leurs carrières", a-t-elle dit. 

"Les algorithmes ne rendent pas les choses justes. Ils automatisent le status quo", a-t-elle dit."Il s'agit d'armes de destruction mathématique."

Le marché libre ne va pas résoudre ce problème, a affirmé Cathy O'Neil, car "il y a beaucoup d'argent à se faire dans l'injustice."

Sa solution: un audit des données d'algorithmes. Ce qui impliquerait de scruter minutieusement les algorithmes pour vérifier leur intégrité (en prenant en compte les préjugés inclus dans les données qui ont servi à construire ces algorithmes); d'examiner les définitions de ce que c'est que de réussir (pour faire en sorte que l'algorithme soutienne des objectifs impartiaux); de vérifier l'exactitude globale; de surveiller les effets sur le long terme; d'éviter les boucles de rétroaction...

En fin de compte, Cathy O'Neil croit qu'il faut un organisme de réglementation chargé des algorithmes. "Je ne compte pas trop dessus avec l'administration Trump", a-t-elle dit.

Version originale: Ariel Schwartz/Business Insider

Vous avez apprécié cet article ? Likez Business Insider France sur Facebook !

Lire aussi : Benoît Hamon considère que les voitures autonomes menacent notre libre-arbitre

VIDEO: Voici les 15 meilleurs aéroports du monde