Discrimination et recrutement par IA : risques et contrôles

Un outil d'IA peut écarter des candidats pour un motif interdit par la loi, sans que personne l'ait voulu. Cela arrive quand ses critères, ses données d'apprentissage ou la manière dont il classe des dossiers reproduisent des écarts existants. La loi française interdit la discrimination à l'embauche. Elle ne dit pas comment l'éviter avec un outil : c'est à l'entreprise de contrôler ce que fait l'outil qu'elle utilise, et de le documenter.

Les critères interdits

L'article L1132-1 du Code du travail, lu sur le site code.travail.gouv.fr, commence par : « Aucune personne ne peut être écartée d'une procédure de recrutement ou de nomination ». La suite donne une liste de motifs. Lus dans le texte, ils comprennent notamment :

l'origine, le sexe, les mœurs, l'orientation sexuelle, l'identité de genre et l'âge ;
la situation de famille et la grossesse ;
les caractéristiques génétiques ;
l'appartenance réelle ou supposée à une ethnie ou à une nation ;
les opinions politiques, les activités syndicales et les convictions religieuses ;
l'état de santé et le handicap.

Pour un tri de candidatures, cela veut dire que l'outil ne doit pas utiliser ces critères, directement ou par un détour. Un critère d'apparence anodine peut devenir un écart indirect : c'est le point le plus difficile à voir.

Comment un outil peut discriminer sans le vouloir

Il n'existe pas, dans les pages lues pour cette fiche, de chiffre fiable sur la fréquence de ces écarts. Ce qui suit décrit les mécanismes à tester, sans chiffre.

Données d'apprentissage. Si l'outil a été entraîné sur des décisions passées de recrutement, il peut reproduire les préférences de ces décisions. Si ces décisions étaient biaisées, l'outil le sera aussi.
Critères de substitution. Un code postal, une école, une lacune de parcours ou un prénom peuvent servir de substitut à un critère interdit. Il faut les lister et les tester.
Critères flous. « Bon relationnel », « dynamique » ou « fort potentiel » donnent à l'outil une liberté qu'il ne devrait pas avoir.
Langue et écriture. Un outil qui note la qualité d'une lettre de motivation peut pénaliser une personne dont le français écrit est moins fluide, ce qui n'a rien à voir avec le poste sauf exception.

Les contrôles à faire

Trois moments suffisent pour une petite entreprise.

Avant de mettre l'outil en service.

Demander au fournisseur la liste des critères utilisés et la manière dont ils pèsent dans le classement.
Demander s'il a testé l'outil contre les risques de discrimination, et sur quelles données. Une réponse vague est une information en soi.
Lire les critères du poste et vérifier qu'ils correspondent aux missions réelles.

Pendant l'usage.

Faire un test de paires : deux CV fictifs identiques, sauf un élément qui ne doit pas compter (un prénom, une adresse). Si le classement change, l'outil pose un problème.
Garder une trace des critères et des décisions prises après le tri.
Ne pas collecter de données sensibles pour mesurer les écarts sans avis du délégué à la protection des données. Mesurer est utile, mais cela suppose un cadre.

Après une décision contestée.

Reprendre le dossier avec une personne qui ne l'a pas trié, et noter la raison de la décision finale.

Ce que dit le règlement sur l'IA

L'annexe III du règlement européen sur l'IA, lue sur artificialintelligenceact.eu, range parmi les systèmes à haut risque ceux qui sont destinés au recrutement, notamment l'analyse et le filtrage des candidatures. Les contrôles ci-dessus ne remplacent pas les obligations qui découlent de ce classement. Voir la page IA et recrutement : le haut risque dans l'AI Act.

L'article 22 du RGPD, lu sur gdpr-info.eu, pose le principe qu'une personne ne doit pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé, si cette décision produit un effet significatif sur elle. Un rejet automatique d'un candidat est un cas typique. Voir la page tri de CV par IA et RGPD.

Où signaler un problème

Le Défenseur des droits traite les réclamations pour discrimination. Son site, defenseurdesdroits.fr, renvoie vers le site antidiscriminations.fr, qui propose des informations et un signalement, avec un numéro d'écoute. Un juriste peut aussi évaluer une situation précise. Le réseau a une page voisine sur le tri de CV et le RGPD et une page sur la grille d'entretien, qui aide à rendre les décisions comparables.

Ce que cette page ne dit pas

Elle ne donne pas de chiffre sur la fréquence des discriminations par IA, parce qu'aucune source lue ne le permet. Elle ne donne pas d'avis juridique sur une situation d'entreprise. Les motifs de l'article L1132-1 sont cités tels qu'ils figurent dans le texte lu ; la liste complète se trouve sur la source.