Quand les algorithmes déraillent ou créent l'erreur

Un algorithme de calcul de droits est programmé pour procéder par étapes. De manière simplifiée :

1. La collecte et la vérification des données (revenus, situation familiale…)
2. Le test d'éligibilité
3. Le calcul du montant selon une formule mathématique précise
4. La validation et la notification à l'usager

Au premier stade, celui-là collecte des données, la fiabilité des informations recueillies est primordiale. Si certaines prestations, comme le remboursement des frais de santé, les indemnités journalières de congé maternité ou l'allocation de proche aidant ne dépendent pas de vos revenus, beaucoup sont soumises à « conditions de ressources ». À partir des informations récoltées, l'algorithme vérifie que vos revenus sont bien inférieurs au plafond ouvrant droit à la prestation.

Deux précisions…

Tout d'abord on entend par « ressources » les revenus d'activité (salaires, prestations des indépendants, primes…), les revenus de remplacement (allocations chômage, pensions de retraite, indemnités maladie…) et les revenus du patrimoine (placements financiers, location d'un logement…). Par ailleurs, à l'exception de l'Allocation adulte handicapé qui a été déconjugalisée, le calcul des prestations sociales se fait sur la base du foyer. Cela inclut donc les ressources de votre conjointe ou conjoint, quel que soit le statut (mariage, PACS, concubinage), et éventuellement celles de vos enfants.

Les données financières qui alimentent les algorithmes sont récupérées automatiquement via des bases de données, à commencer par le Dispositif de ressources mensuelles. Ce DRM englobe les revenus d'activité, des salariés via la déclaration sociale nominative transmise chaque mois par les employeurs, et les revenus de remplacement, rassemblés dans un système appelé PASRAU par les organismes sociaux : les caisses de retraite, France Travail pour les allocations chômage, l'Assurance-maladie pour les indemnités journalières… Ainsi, les CAF et les MSA savent-elles à l'euro près combien votre foyer perçoit chaque mois.

À condition que ces données soient justes ! Certes, des vérifications automatiques sont réalisées par l'algorithme en croisant les informations avec d'autres sources de données, en particulier les impôts. Il n'empêche que ce que l'on appelle les données sociales sont loin d'être totalement fiabilisées. Elles comportent des anomalies. Côté employeurs, un rapport d'information du Sénat daté de juillet 2023 souligne qu'au moins 10 % des Déclarations sociales nominatives comportent des anomalies.

Ce dispositif automatisé de collecte des ressources ne concerne pas les travailleurs indépendants, dont les revenus varient d'un mois à l'autre et pour qui les déclarations de revenus aux organismes sociaux restent déclaratives (une fois par trimestre). Ces déclarations sont ajustées annuellement par un croisement des données avec la Déclaration sociale et fiscale unifiée (DSFU). Les éventuelles erreurs se détectent donc à postériori. Pour les microentrepreneurs, la vérification se fait avec la déclaration du chiffre d'affaires brut à l'URSSAF, avec application d'un abattement.

Ajoutons au passage que les données collectées varient selon les prestations, puisque les bases ressources ne sont pas les mêmes… Et que certaines de ces données sont forcément déclaratives, les ventes d'objets d'occasion prises en compte dans le calcul du RSA, pour ne citer qu'un exemple.

Ce que l'on peut retenir ici, c'est que l'automatisation n'exonère pas les organismes sociaux du risque d'erreurs avant même qu'un seul calcul soit réalisé. Que ce risque d'erreurs est d'autant plus important que la situation des allocataires est complexe et instable. Que l'erreur peut provenir des données collectées automatiquement ou même d'une défaillance technique.

Que se passe-t-il lorsque les données financières fournies et celles vérifiées auprès d'autres administrations ne correspondent pas ? La programmation de l'algorithme intègre une « marge de tolérance ». Soit l'écart est inclus dans cette marge et les calculs sont lancés, soit l'algorithme passe en mode « Alerte » et suspend le traitement automatique du dossier. Ce dernier apparaît alors sur l'écran d'un agent, un technicien-conseil dans le cas des CAF, charge à l'agent de trouver l'origine du « bug » : une petite erreur ou un décalage technique (votre employeur a déclaré en retard) peuvent être assez rapidement corrigés, manuellement, mais l'agent peut aussi recalculer vos droits et générer un indu (plus rarement un rappel) ou encore suspecter une fausse déclaration et orienter votre dossier vers un contrôle. Dans tous les cas, le calcul de vos droits reste en attente.

Cherchez l'erreur… L'algorithme de calcul de droit ne va pas le faire ! C'est une machine qui suit des règles et bloque dès qu'un caillou se glisse dans ses rouages. Un exemple vient d'un chiffre de l'IGAS, l'Inspection générale des Affaires sociales. 3 % des assurés sociaux n'apparaissent pas dans la plus vaste base de données des organismes, le Répertoire national commun de la Protection sociale, principalement, nous dit-on, parce que leur numéro d'identification — ou de sécurité sociale — n'est pas certifié. 3 % de 63 millions d'assurés sociaux, cela fait quand même 1,9 million de personnes « invisibles ». Et si ces personnes font l'objet d'un croisement de données, l'affichage des informations n'apparaît pas, la conséquence est sans appel : c'est le rejet automatique du dossier. Et vous, vous pouvez toujours attendre que vos droits vous soient signifiés dans votre espace personnel !

Nous avons jusqu'à présent essentiellement parlé de situation financière, la vôtre et celle des personnes qui composent votre foyer. Il faut aussi intégrer un élément : la situation personnelle. Nos vies évoluent rapidement, les situations sortent parfois des sentiers battus (au sens de l'administration) : un couple séparé, mais obligé (ou qui choisit) de vivre sous le même toit, une garde alternée atypique… Un algorithme est programmé pour répondre à des conditions, « Si… Alors ».

Prenons un exemple. Jeanne et Hugo se séparent, ils ont deux enfants et peuvent donc prétendre aux allocations familiales. L'ex-couple reste voisin et s'entend pour que les bambins passent quatre jours chez la maman, puis trois jours chez le papa, et le rythme change pendant les vacances. L'algorithme, lui, est programmé pour trois situations, pas plus : les enfants sont à la charge principale de la mère ou du père, ou bien en garde alternée parfaite à 50/50. La situation réelle de Jeanne, Hugo et leurs enfants crée dans l'algorithme ce que l'on appelle un « conflit de logique ». Résultat, le calcul est bloqué. En théorie, le dossier ne tombe pas dans les oubliettes. Un agent humain doit prendre la main pour évaluer la situation.

Dans les situations complexes, des personnes avec des revenus instables, plusieurs statuts ou plusieurs employeurs, ne serait-ce qu'un retraité qui fait quelques missions en autoentreprise, les données ne sont pas transmises de manière synchronisée à l'algorithme, puisqu'elles émanent de différents organismes ou de la personne elle-même par des déclarations trimestrielles. À chaque nouvelle information, l'algorithme recalcule le droit. Par « effet yo-yo », cela peut entrainer des sommes différentes, voire des indus, et une insécurité financière.

Gardons-le en tête : un algorithme de calcul de prestations est profondément bête et fonctionne de manière binaire. Ses règles intègrent des critères basiques, sans nuance. Par exemple, « Vrai » ou « Faux », la personne concernée est célibataire ou en couple. La case « c'est compliqué » n'existe pas. Ainsi, un couple qui se sépare, mais est contraint pour des raisons économiques de rester sous le même toit. La situation est déclarée, les personnes passent dans la catégorie « célibataire », les prestations sont recalculées. Mais un soupçon de fraude peut naître et un contrôle être déclenché si un croisement de données signale que les ex-conjoints vivent toujours à la même adresse.

Ne demandons pas plus à un algorithme de chercher le « pourquoi ». Un travailleur indépendant qui vit aisément de son activité tombe gravement malade du jour au lendemain. Ses revenus chutent, mais les calculs restent basés sur la déclaration sociale de l'année précédente. La situation devient urgente, le travailleur a besoin d'une aide au logement pour payer son loyer et ne pas être expulsé. L'intervention d'un agent humain est indispensable pour évaluer la situation et prendre les mesures nécessaires, faute de quoi l'algorithme attendra tranquillement la déclaration de l'année suivante.

Pour simplifier le propos, nous mettons le terme « algorithme » au singulier. Mais il faut bien comprendre que les systèmes d'information des administrations sociales sont complexes et composés de différentes couches, tel un patchwork. À chaque réforme, chaque loi ou même chaque décret, le code informatique doit être modifié pour s'adapter à la réglementation ou la législation. Une couche (un « morceau de code ») s'ajoute à d'autres couches sur un système ancien, puisque l'informatisation de ces administrations est ancienne : elle remonte à au moins 30 ans. Dans la machine, ce morceau de code, d'un décret de 2025, par exemple, se greffe sur celui d'une loi de 2010 qui est lui-même connecté à des règles de 2002. Cela a pour conséquence de créer une instabilité de l'ensemble, ce que l'on appelle « l'effet château de cartes », d'autant plus fragile que les langages informatiques ne sont pas toujours les mêmes.

Avec un dossier standard et un chemin direct, bien balisé dans la programmation, cette accumulation ne pose pas, semble-t-il, de problème majeur. Des dysfonctionnements (ou « bugs ») peuvent toujours survenir, mais l'autoroute de l'automatisation est dégagée.

Mais encore une fois, qu'en est-il des situations complexes, des personnes dont la vie est régie par différents codes, cette fois législatifs : le Code de la Sécurité sociale, le Code de l'Action sociale et des familles, le Code du travail, le Code de la construction et de l'habitation… Sonia, 20 ans, est étudiante boursière, arrondit ses fins de mois sous un statut d'autoentrepreneuse, elle demande une aide au logement. L'équation de l'algorithme de calcul prend en compte les règles transcrites en code informatique du Code de l'éducation (pour la bourse), du Code de la construction et de l'habitat (où sont fixées les conditions d'attribution des Aides personnalisées au logement), du Code de la Sécurité sociale (pour l'activité indépendante). L'algorithme de calcul de ses APL prend en compte les textes de ces trois codes pour l'établissement du droit, et la phase de vérification (dite des « contrôles finaux ») passe par l'URSSAF pour l'activité d'autoentreprise et par le Crous pour la bourse. L'enchevêtrement de codes informatiques, dans des langages de programmation différents, peut déboucher sur des informations contradictoires qui amèneront à un blocage. Quand le code lié aux revenus dit « je baisse les droits, car son revenu a augmenté », le code lié à la situation de Sonia dit « il faut appliquer un plancher de calcul avantageux, car l'allocataire est étudiante (le barème étudiant) et neutraliser les ressources issues de la bourse d'études ». Et tout cela dans un système central qui date des années 1990.

Ces couches et ces surcouches de programmes informatiques, avec des règles parfois contradictoires, ont possiblement des conséquences bien réelles : un bug technique où le dossier se bloque indéfiniment « en cours de traitement », un refus automatique injustifié parce que l'algorithme aura appliqué par défaut la règle la plus restrictive, voire un calcul aberrant débouchant sur un trop-perçu à cause d'une formule mathématique qui s'est emmêlé les pinceaux.

Dans les systèmes d'information, les logiciels (très) anciens cohabitent avec des outils plus récents et des nouveautés technologiques, comme les API. Imaginez que les socles, le noyau de ces systèmes, datent des années 1990 et qu'il a été programmé dans un langage informatique totalement obsolète, que les informaticiens d'aujourd'hui ne sont plus capables de comprendre. Sur ce socle ont été ajoutées des couches (logiciels, algorithmes…) qui contiennent chacune les règles d'une prestation, mais ne parlent pas toutes le même langage. S'ajoutent encore les changements législatifs, parfois urgents, où les informaticiens ajoutent des patchs, un peu comme des rustines, pour qu'ils soient appliqués en temps et en heure. La dette technique, c'est le prix à payer pour la mise en œuvre de solutions rapides, mais qui au bout du compte, fragilisent l'ensemble.

Reprenons l'image d'un algorithme conçu comme une recette de cuisine (voir « Qu'est-ce qu'un algorithme ? ») et installons la recette dans son environnement, une cuisine de restaurant. C'est le coup de feu, avec une salle pleine à craquer. Pour satisfaire les commandes et envoyer les plats, le chef décide que la vaisselle attendra. Casseroles et assiettes s'empilent dans l'évier. Au bout d'une heure, l'évier déborde, la vaisselle sale commence à envahir le plan de travail. Ici la « dette technique » se traduit sur le moment par un ralentissement parce que le cuisinier a moins de place pour couper ses légumes, par des erreurs (bugs) parce qu'il ne trouve plus les bonnes sauces dans le désordre… Le lendemain, trois heures sont perdues à tout récurer, l'équipe paye les intérêts de la dette. Mais si elle ne le fait pas, à terme, le restaurant devient insalubre, et ferme.

Retour aux organismes sociaux. Comment se concrétise cette dette technique ? Les logiciels les plus anciens ne communiquent pas en temps réel (comme le font aujourd'hui les API) et fonctionnent en silo, indépendants et reliés au socle, qui conserve les informations prioritaires sur les usagers. Si la machine socle met plusieurs mois à intégrer un changement de situation professionnelle ou personnelle, l'algorithme de calcul de droit continue avec les mauvaises informations pendant autant de mois. Quand le code du socle est enfin mis à jour, le recalcul avec effet rétroactif entraîne parfois des indus et c'est à l'allocataire de rembourser les sommes alors qu'il a déclaré son changement de situation normalement.

La dette technique est aussi bloquante pour les sites internet des administrations, et les espaces personnels qui sont les interfaces avec les utilisateurs. Les formulaires en ligne, notamment pour les déclarations, doivent être « compréhensibles » par le noyau central. Cela explique qu'ils ne correspondent pas toujours à ce qui est demandé à l'usager au vu des réglementations actuelles. De même, avec de vieux logiciels qui ne communiquent pas entre eux, on peut se retrouver avec des demandes à répétition de pièces justificatives. L'incompréhension, l'agacement, la peur de mal faire, sont sources d'abandon face à la machine, et donc de non-recours aux droits.

Et cela ne va pas en s'arrangeant, même si les organismes essayent de mettre en place des solutions techniques. Plus un logiciel accumule de dette, plus il génère de bugs, alerte à tort et bloque des dossiers (et donc des versements) dans un trou noir informatique, en silence. Charge aux agents d'accueil et aux conseillers de répondre à des personnes paniquées, voire en colère, et de corriger manuellement les erreurs… quand elles ne passent pas inaperçues.

Cela nous indique que les erreurs de calcul ne sont pas systématiquement, loin de là, le fait de l'usager ou de l'allocataire. La Cour des comptes ne vise pas seulement les particuliers quand elle estime que les erreurs non corrigées représentent entre 5,5 et 6,3 milliards d'euros pour la branche famille (les CAF) ou que 25 % des montants versés au titre du RSA comportent des erreurs.

Les allocataires peuvent commettre des erreurs de bonne foi dans leurs déclarations ou être en retard pour signifier un changement de situation. Cependant, la responsabilité des organismes sociaux est tout aussi importante. Leur automatisation rend moins évidente l'erreur de saisie d'un agent derrière son bureau ! Au contraire, les personnels humains ne sont plus assez nombreux pour vérifier les dossiers complexes alors que les calculs automatiques mal calibrés provoquent des anomalies parfois massives. Les logiciels mal synchronisés avec l'exemple d'un applicatif qui ne transmet pas la bonne information au système central entraînent des mauvais calculs. Enfin, les « tuyaux informatiques » qui relient les différents systèmes et les différentes administrations sont source de conséquences en cascade. Il suffit qu'au début de la chaîne, un employeur se trompe dans un montant net social ou qu'il soit un peu en retard pour que ce grain de sable enraye toute la machine. À l'inverse, il arrive qu'un algorithme ne détecte pas une anomalie flagrante lors d'un croisement de données (appelé aussi contrôle automatique), tant que celles-ci, même fausses, sont cohérentes avec ses règles mathématiques.

Le résultat reste toutefois le même : c'est vous, allocataire, chômeur, bénéficiaire du RSA qui payez les conséquences, quelle que soit la source de l'erreur. On vous signifie simplement un indu et une somme à rembourser, parfois un rappel. Vous avez le droit de comprendre et de demander des comptes.

Une règle d'or (l'article 22 du RGPD) interdit les décisions 100 % automatisées dès lors qu'elles affectent les personnes « de manière significative » ou qu'elles ont des effets juridiques. Le règlement européen instaure ainsi un droit fondamental à ne pas être jugé ou géré par une machine. Cependant, dans la loi française, les administrations bénéficient d'une certaine souplesse. Elles peuvent utiliser des algorithmes pour calculer de manière automatique vos impôts ou vos prestations, allocations… Mais à trois conditions très strictes que vous devez garder en tête.

1. La transparence, ou mention explicite (article 311-3-1 du Code des relations entre le public et l'administration) : lorsque vous recevez votre déclaration d'impôts ou un courrier d'attribution d'une prestation, le document doit indiquer clairement que la décision (le calcul) a été prise par un algorithme.
2. Le droit à l'explication (article R311-3-2 du CRPA) : l'administration a l'obligation légale de vous fournir la formule mathématique et les données utilisées pour arriver à un résultat. Vous devez en faire la demande et l'organisme doit vous répondre dans un langage clair. La complexité des systèmes informatiques et les anomalies non détectées empêchent parfois cette explication. Dans ce cas, l'organisme est en tort. Utilisez notre générateur de lettres types pour demander des explications !
3. Le droit de recours à une personne humaine en cas de désaccord (article 47 de la loi Informatique et Libertés, modifié)