Des recherches Google et des sites de rencontres à la découverte de la fraude par carte de crédit, l’intelligence artificielle continue de trouver de nouvelles façons de s’infiltrer dans nos vies. Mais pouvons-nous faire confiance aux algorithmes qui l’animent? Ou sommes-nous victimes d’un biais algorithmique?

Les systèmes d’intelligence artificielle sont formés à l’aide de données qui reflètent inévitablement le passé. Si l’ensemble de données d’entraînement contient des biais inhérents aux décisions humaines passées, alors ces biais sont approfondis et amplifiés par le système. Ou s’il contient moins de données pour un groupe minoritaire particulier, les prévisions pour ce groupe auront tendance à être pires. C’est ce qu’on appelle le «biais algorithmique».

Des chercheurs de l’Australian Gradient Institute ont co-écrit un article expliquant comment les entreprises peuvent identifier les biais algorithmiques dans les systèmes d’IA et comment les atténuer. Le travail a été réalisé en coopération avec la Commission australienne des droits de l’homme, le Consumer Policy Research Center, l’Australian Research Authority Data61 et le cabinet juridique CHOICE.

Un biais algorithmique peut provenir d’un manque de données d’apprentissage appropriées, ou du fait d’une conception ou d’une configuration de système inappropriée. Par exemple, un système qui aide une banque à déterminer si elle doit ou non octroyer des prêts est généralement formé à l’aide d’un vaste pool de données sur les décisions de prêt passées de la banque (et d’autres données connexes auxquelles la banque a accès).

Le système peut comparer les antécédents financiers, les antécédents professionnels et les informations démographiques du nouveau demandeur de prêt avec les informations correspondantes des demandeurs précédents. Dans cet esprit, il essaie de prédire si le nouveau demandeur pourra ou non rembourser le prêt.

Mais cette approche peut être problématique en soi. Dans ce cas, un biais algorithmique pourrait survenir en raison d’un biais inconscient de la part des gestionnaires de crédit qui ont pris des décisions antérieures concernant, par exemple, les demandes de prêt hypothécaire pour des clients spécifiques.

Et si les prêts aux clients minoritaires étaient injustement biaisés dans le passé, AI considérerait la capacité de remboursement globale de ces groupes inférieure à ce qu’elle est maintenant. Les jeunes adultes, les personnes de couleur, les femmes célibataires et les personnes handicapées ne sont que quelques exemples de groupes susceptibles d’être touchés par cette approche.

Les préjugés algorithmiques nuisent non seulement aux personnes, mais également aux entreprises et aux organisations. Le système d’IA biaisé décrit ci-dessus présente deux risques majeurs pour la banque; Premièrement, la banque peut perdre des clients potentiels, en envoyant des victimes de biais vers des banques concurrentes. Il peut également être tenu responsable en vertu des lois anti-discrimination.

Et si un système d’IA applique constamment un biais inhérent à ses décisions, il deviendra plus facile pour le gouvernement ou les groupes de consommateurs de mettre en évidence ce modèle systématique. Cela peut entraîner de lourdes amendes et pénalités.