Quand un logiciel prend une décision à la place d'un humain, qui en est responsable ?
Uber vient de recevoir une amende record de près de 825 millions d'euros infligée par la CNIL, l'autorité française chargée de protéger les données personnelles. Le motif central : la plateforme utilisait des algorithmes pour prendre des décisions qui affectaient directement des travailleurs, sans qu'un être humain réel puisse intervenir, expliquer ou corriger ces décisions. Cette sanction concerne un principe juridique précis inscrit dans le RGPD, le règlement européen sur la protection des données, qui s'applique à toutes les entreprises actives sur le territoire européen, y compris les petites et moyennes.
Ce que dit la loi, en clair
L'article 22 du RGPD interdit de soumettre une personne à une décision prise uniquement par un traitement automatisé quand cette décision produit des effets significatifs sur elle. Suspension de compte, refus de service, notation, classement : si un logiciel prend cette décision seul et que personne ne peut la remettre en cause humainement, c'est une infraction.
Trois conditions cumulatives déclenchent cette obligation :
- La décision est entièrement automatisée, sans intervention humaine réelle.
- Elle produit des effets juridiques ou comparables (perte d'accès, perte de revenus, exclusion).
- Elle concerne une personne physique identifiable.
Le mot "réelle" est capital. Avoir un bouton "contacter le support" ne suffit pas. La loi exige qu'un humain compétent puisse effectivement examiner le dossier, comprendre la logique ayant conduit à la décision, et la modifier si nécessaire.
Les situations concrètes qui exposent une entreprise
Il n'est pas nécessaire de gérer des milliers de chauffeurs pour être concerné. Voici des exemples courants dans des entreprises de taille ordinaire :
- Un formulaire en ligne refuse automatiquement une commande parce qu'une règle de scoring détecte un risque de fraude.
- Un outil RH trie des candidatures et en écarte certaines sans qu'un recruteur les lise.
- Un système de fidélité suspend automatiquement un compte client jugé "anormal" par l'algorithme.
- Une plateforme de mise en relation désactive un profil à cause d'un seuil de note atteint.
Dans chacun de ces cas, si la personne concernée n'a aucun moyen d'obtenir une explication claire et de demander un réexamen humain, l'entreprise encourt une sanction.
Ce que la CNIL attend concrètement
La CNIL, en s'alignant sur ses homologues européens dans cette affaire, attend plusieurs garanties vérifiables lors d'un contrôle :
Une information claire avant la décision. La personne doit savoir qu'une décision automatisée peut la concerner, quelle logique générale est utilisée, et quels sont ses droits.
Un droit d'intervention humaine effectif. Elle doit pouvoir demander qu'un humain examine sa situation. Ce n'est pas facultatif et ne peut pas être conditionné à un abonnement premium ou à un délai de plusieurs semaines.
Une explication de la décision. Si elle en fait la demande, l'entreprise doit être en mesure d'expliquer pourquoi l'algorithme a produit ce résultat, avec suffisamment de précision pour que la personne puisse contester si elle l'estime justifié.
Une trace de tout cela. En cas de contrôle, il faut prouver que ces mécanismes existent et fonctionnent. Un simple paragraphe dans les conditions générales ne constitue pas une preuve suffisante.
Ce que ça change pour vous
Si votre entreprise utilise un logiciel qui prend des décisions automatiques concernant vos clients, vos prestataires ou vos candidats, vérifiez deux points avant toute chose : est-ce qu'un membre de votre équipe peut effectivement examiner et corriger cette décision quand quelqu'un le demande, et êtes-vous en mesure d'expliquer comment le logiciel est arrivé à ce résultat ? Si la réponse à l'une de ces questions est non, vous êtes exposé. La taille de l'entreprise ne change pas l'obligation juridique, même si le montant d'une éventuelle sanction serait proportionné. Un audit de vos processus automatisés, réalisé avec un prestataire qui connaît le sujet, est aujourd'hui un investissement bien moins coûteux qu'une procédure devant la CNIL.
Source : CNIL, délibération relative à la sanction d'Uber
