Download_on_the_App_Store_Badge_FR_RGB_blk_100517

L'IA de Google n'appliquera plus de tag 'homme' ou 'femme' sur les images pour éviter les biais

L'IA de Google n'appliquera plus de tag 'homme' ou 'femme' sur les images pour éviter les biais
© Getty

Un outil de Google AI qui peut reconnaître et classer ce qui se trouve dans une image n'appliquera plus de tags de genre comme "femme" ou "homme" aux photos de personnes. L'API Cloud Vision de Google est un service destiné aux développeurs qui leur permet, entre autres, de marquer et d'identifier le contenu de photos. L'IA peut détecter des visages, des points de repère, des logos de marque, et même des contenus explicites. Cloud Vision a de nombreuses utilisations, des distributeurs utilisant la recherche visuelle aux chercheurs identifiant des espèces animales.

Dans un email adressé aux développeurs en fin de semaine dernière, consulté par Business Insider US, Google a déclaré qu'il n'utiliserait plus de "labels de genre" pour ses tags d'images. Au lieu de cela, Google va marquer toutes les images de personnes avec des tags "sans genre" comme "personne". Google a déclaré qu'il avait fait ce changement parce qu'il n'était pas possible de déduire le genre d'une personne uniquement à partir de son apparence. Il a également cité ses propres règles éthiques sur l'IA, déclarant que les photos de genre pouvaient exacerber les préjugés injustes.

A lire — Les sites de recrutement aggravent la discrimination en matière d'emploi, selon une spécialiste de l'IA

"Étant donné que le genre d'une personne ne peut être déduit de son apparence, nous avons décidé de supprimer ces tags afin de nous aligner sur les principes de l'intelligence artificielle chez Google, en particulier le principe n°2 : éviter de créer ou de renforcer des préjugés injustes".

Business Insider US a testé l'API, et voici ce que ses journalistes ont trouvé :

Shona Ghosh/Business Insider

La partialité de l'intelligence artificielle est un sujet largement débattu, les chercheurs craignant que des données d'apprentissage erronées n'exacerbent ou ne créent des hypothèses injustes. Les algorithmes de reconnaissance faciale, par exemple, commettent plus fréquemment des erreurs d'identification pour les personnes de couleur que pour les personnes blanches. Frederike Kaltheuner, chercheur en politique tech chez Mozilla, spécialiste des biais de l'intelligence artificielle, a déclaré à Business Insider US que la mise à jour était "très positive". Elle a déclaré dans un e-mail : "Chaque fois que vous classifiez automatiquement des personnes, que ce soit leur genre ou leur orientation sexuelle, vous devez décider des catégories que vous utilisez en premier lieu — et cela s'accompagne de nombreuses suppositions."

A lire aussi — Bruxelles vient de donner 4 idées pour développer une IA 'axée sur l'humain'

"Classifier les gens comme hommes ou femmes suppose que le genre est binaire. Toute personne qui ne correspond pas à ce critère sera automatiquement mal classée et mal classée selon le genre. Il ne s'agit donc pas seulement de préjugés — le genre d'une personne ne peut pas être déduit de son apparence. Tout système d'intelligence artificielle qui tenterait de le faire se tromperait inévitablement sur le genre des personnes".

Google note dans ses propres principes d'IA que les algorithmes et les ensembles de données peuvent renforcer les préjugés : "Nous chercherons à éviter les impacts injustes sur les personnes, en particulier ceux liés aux caractéristiques sensibles telles que la race, l'ethnie, le genre, la nationalité, le revenu, l'orientation sexuelle, les capacités et les croyances politiques ou religieuses".

Google a invité les développeurs concernés à échanger sur ses forums de discussion. Le premier développeur à s'être exprimé s'est plaint que le changement était dû au "politiquement correct". "Je ne pense pas que le politiquement correct ait sa place dans les API", a écrit cette personne. "Si je peux dans 99% des cas identifier si quelqu'un est un homme ou une femme, alors l'algorithme le peut aussi. Vous ne voulez pas le faire ? Les entreprises iront vers d'autres services". Business Insider US a contacté Google pour un commentaire.

Version originale : Shona Ghosh / Business Insider

Business Insider
Découvrir plus d'articles sur :