Qu'est-ce qu'un algorithme ?
Les algorithmes sont utilisés depuis longtemps dans les administrations sociales : pour calculer les prestations, automatiser les contrôles, programmer les versements. Cette fiche explique comment ils fonctionnent, ce qu'on appelle « intelligence artificielle », et quels droits vous avez pour les comprendre.
À retenir
- Les algorithmes sont utilisés depuis longtemps dans le secteur public, et notamment dans le cadre des allocations sociales, pour : calculer des prestations sociales, automatiser les contrôles, programmer des versements ou des rappels automatiques. Ces usages ne sont pas nouveaux, et leurs défaillances non plus.
- On distingue deux grands types d'algorithmes : les algorithmes par règles (par exemple pour vérifier l'éligibilité ou calculer le montant des allocations), et les algorithmes par apprentissage, qui construisent automatiquement les règles en s'entraînant sur des données (par exemple, pour faire des prédictions). C'est souvent ces algorithmes par apprentissage qu'on appelle « intelligence artificielle ».
- Les algorithmes et les systèmes d'intelligence artificielle ne « comprennent » jamais ce qu'ils font (même les chatbots qui génèrent du texte type ChatGPT), ils ne font qu'exécuter des règles informatiques.
- Toute personne a légalement le droit de savoir quand une administration a utilisé un algorithme pour prendre une décision à son égard, et d'en comprendre les règles.
- On parle souvent d'algorithmes comme de « boîtes noires », mais il est souvent possible de comprendre les règles des algorithmes utilisés par l'administration.
- Connaître ces informations permet de rectifier des erreurs, de prévenir des discriminations et de faire valoir ces droits.
Question 1
À quoi servent les algorithmes dans le secteur public ? Quand est-ce que je suis en contact avec des algorithmes si je touche des allocations ou des prestations ?
Les algorithmes sont utilisés depuis longtemps dans le secteur public, et notamment dans le cadre des allocations sociales. Ils servent à calculer des prestations sociales, automatiser les contrôles, programmer des versements ou des rappels automatiques. Ces usages ne sont pas nouveaux, et leurs défaillances non plus.
Un algorithme, c'est tout simplement une série d'instructions que l'ordinateur suit pour faire un calcul. On peut le comparer à une recette de cuisine : on prend des « ingrédients » (les données d'entrée) et on suit les étapes (l'algorithme) pour obtenir le « plat » final (le résultat du calcul). Les étapes peuvent être déterminées de différentes manières (voir question n°2 : quelle est la différence entre algorithmes et intelligence artificielle ?).
L'utilisation des algorithmes se fait dans le cadre de l'automatisation des services publics, c'est-à-dire la prise en charge par des logiciels ou des machines de tâches jusque-là effectuées par des agents humains. L'objectif affiché par les administrations est souvent d'aller plus vite, d'éviter aux agents les tâches répétitives, et d'éviter les erreurs humaines. Ce qui ne veut pas dire que la machine est elle-même infaillible (voir nos fiches pratiques Discriminations et Quand les algorithmes déraillent) !
Voici des exemples concrets dans le cas des allocations en France (APL, RSA, France Travail, etc.) :
- Calcul des prestations : quand vous faites une demande de RSA, de prime d'activité, ou d'allocation chômage, un programme calcule automatiquement si vous avez droit à l'allocation, et combien vous toucherez, en appliquant les règles prévues par la loi.
- Versements automatiques : chaque mois, si votre situation ne change pas, les allocations sont versées sans que vous ayez à les redemander.
- Contrôles automatisés : si le système repère une incohérence entre vos déclarations et d'autres données (par exemple un emploi déclaré ailleurs), une alerte peut être déclenchée. Selon les administrations, cela peut alerter un agent ou bien vous demander automatiquement d'envoyer des justificatifs.
- Rappels automatiques : si vous oubliez de faire votre déclaration trimestrielle, le système peut vous envoyer un SMS ou un mail sans intervention humaine.
- Priorisation des contrôles, des actions… : les administrations utilisent des systèmes prédictifs pour prioriser des actions, dans le cadre des contrôles ou de l'accompagnement des allocataires. Cette priorisation se fait selon des cibles (types de personnes ou de situations) prédéfinies, comme un risque d'erreur ou une probabilité de retour à l'emploi.
Utiliser des machines (ordinateurs) pour effectuer des tâches comme les calculs de droits n'a rien de nouveau. L'automatisation du traitement des déclarations d'impôts et l'utilisation des premiers ordinateurs remontent au début des années 1970 (voir cette archive de l'Institut National de l'Audiovisuel (INA)). Les défaillances de ces machines non plus, malgré les progrès fulgurants de la technologie.
Attention : les décisions importantes (refus, contrôles, sanctions) doivent toujours pouvoir être notifiées, expliquées, vérifiées, et contestées, et un humain reste responsable au final. Toute décision, même prise avec l'aide d'un algorithme, doit être motivée en faits et en droits.
Question 2
Quels sont les différents types d'algorithmes ? Quelle est la différence entre algorithme et intelligence artificielle ?
Le terme « intelligence artificielle » n'a pas de définition universelle. Dans le langage courant, on parle d'intelligence artificielle pour parler des systèmes qui « s'entraînent » sur de grandes quantités de données. En résumé, l'intelligence artificielle s'appuie sur des algorithmes, mais tous les algorithmes ne sont pas de l'intelligence artificielle.
Très bonne question, d'autant plus qu'on n'arrête pas de parler d'intelligence artificielle en ce moment !
Le terme « intelligence artificielle » n'a pas de définition universellement acceptée. Il fait l'objet de débats scientifiques depuis le milieu des années 1950. Dit simplement, l'intelligence artificielle désigne toute tentative de faire reproduire à une machine un comportement ou un raisonnement humain : reconnaître un visage, écrire une phrase, prendre une décision.
Il existe deux grandes approches pour y parvenir. Dans les deux cas, on aboutit à un algorithme : une « recette » que la machine exécute. Ce qui change, c'est la façon dont cette recette est construite.
- L'approche « à base de règles » (aussi appelée symbolique ou déterministe) : ce sont des humains experts qui écrivent « à la main » les règles, pour que l'ordinateur puisse les reproduire. Par exemple, pour qu'un logiciel reconnaisse un spam, un humain lui dicte : « Si le message contient les mots X, Y et Z, alors c'est un spam ».
- L'approche « par apprentissage » (aussi appelée numérique ou probabiliste) : au lieu d'écrire les règles, les humains vont fournir à l'ordinateur un grand nombre de cas (par exemple, des milliers de messages déjà classés « spam » ou « pas spam ») et l'ordinateur construit automatiquement les règles à l'aide des données. On dit qu'il « s'entraîne ».
C'est cette deuxième approche qui a connu des progrès fulgurants ces dernières années, grâce aux progrès technologiques, notamment pour le stockage et le traitement des données. Elle permet, entre autres, la reconnaissance d'images, la traduction automatique ou les assistants conversationnels. Et dans le langage courant, c'est elle qu'on désigne le plus souvent quand on parle d'« intelligence artificielle ». Dans cette approche, on retrouve beaucoup de termes techniques comme le machine learning, le deep learning (apprentissage profond), l'IA générative…
En résumé, toute IA repose sur des algorithmes, mais tous les algorithmes ne sont pas de l'IA.
Rappel : aucun système informatique ne « comprend » ce qu'il fait. Dans tous les cas, l'algorithme ne fait que ce pour quoi il a été programmé par des humains et n'a ni conscience ni autonomie.
Question 3
Qu'est-ce que l'IA générative ? Est-elle utilisée dans les administrations ?
L'IA générative, utilisée par exemple dans ChatGPT, est une sous-catégorie d'intelligence artificielle. Elle est désormais utilisée dans les administrations, notamment pour pré-rédiger des textes ou des courriels.
L'IA générative est une sous-catégorie d'intelligence artificielle où les outils sont capables de générer du nouveau contenu (du texte, des images, du son…). C'est, par exemple, ChatGPT, Copilot, Midjourney…
L'IA générative fonctionne de manière probabiliste. Dit simplement : un chatbot comme ChatGPT ne comprend pas l'information qu'il génère, il choisit simplement des mots qui ont la plus forte probabilité de se retrouver ensemble… un peu comme le correcteur automatique de votre téléphone.
Dans les administrations, l'IA générative peut par exemple être utilisée pour pré-générer des réponses aux usagers, dans le cadre du service Services Publics +, pour chercher des informations, ou dans des chatbots avec lesquels les usagers sont en contact.
Question 4
Comment fonctionnent les algorithmes qui vérifient mon éligibilité et calculent le montant de mes allocations ?
Les algorithmes qui vérifient l'éligibilité et calculent le montant des allocations sont des algorithmes par règles, où les humains ont décidé (et parfois voté) les conditions et montants. Ceux-ci se retrouvent dans des textes officiels comme les lois, les arrêtés ou les décrets.
Ces algorithmes sont des systèmes de règles, c'est-à-dire que les règles sont décidées par des humains puis codées dans un programme informatique (l'approche 1 présentée dans notre question « Quelle est la différence entre un algorithme et un système d'IA »), comme une grosse calculatrice.
Voyons pas-à-pas le calcul d'une allocation, par exemple l'APL (allocation logement). Quand vous effectuez une demande d'APL, vous fournissez des informations (aussi appelées données) vous concernant : votre état civil, la composition de votre foyer (célibataire, en couple, avec ou sans enfants…), la situation professionnelle des membres de votre foyer, vos ressources des 12 derniers mois, les informations sur votre logement (adresse, type et surface, montant du loyer hors charges).
Puis ces informations sont traitées par un algorithme qui applique des règles pour déterminer le montant auquel vous avez droit. Le calcul de base est simple : APL = loyer éligible + forfait charge − participation minimale du bénéficiaire (ce que vous devez payer dans tous les cas). On voit que ce calcul contient différents éléments, qui varient… d'où le nom de variable. Par exemple, le montant du loyer éligible dépend d'où vous habitez. La participation minimale du bénéficiaire dépend entre autres de vos ressources, et les montants varient chaque année avec des arrêtés ministériels. Tous ces montants sont déterminés par des textes de loi et ensuite transformés en programme informatique.
L'un des problèmes : même si ce calcul paraît simple sur le papier, il est complexe du point de vue de la loi, ce qui peut entraîner des erreurs dans le programme informatique (voir notre fiche pratique « Quand les algorithmes dysfonctionnent »).
Question 5
J'ai entendu parler d'algorithmes prédictifs : de quoi s'agit-il ? Comment sont-ils utilisés ?
Les algorithmes prédictifs sont un type d'algorithme qui se base sur des situations passées pour prédire des situations futures. Dans les administrations sociales, ils sont souvent utilisés dans le cadre des contrôles, mais parfois aussi dans des situations d'accompagnement ou de prévention. Ces algorithmes sont souvent explicables.
Les algorithmes prédictifs fonctionnent de manière probabiliste (l'approche 2 présentée dans notre question « Quelle est la différence entre un algorithme et un système d'IA »), c'est-à-dire qu'ils vont utiliser des situations passées pour prédire des situations futures.
Pour mieux comprendre, voyons pas-à-pas la manière dont l'algorithme de score de risque de la CAF a été élaboré.
L'équipe qui a conçu l'algorithme a décidé d'une « cible prioritaire » : ici, il s'agit d'identifier les dossiers les plus à risque d'erreur générant un trop perçu de 600 euros par mois pendant plus de 6 mois.
Les concepteurs ont donc créé une base de données de tous les dossiers ayant été contrôlés par le passé correspondant à cette situation. Cette base de données recense les dossiers et leurs caractéristiques : situation familiale, situation géographique, niveau de ressources, types de prestations…
Sur cette base, les concepteurs ont appliqué une formule mathématique pour trouver les facteurs de risque. Par exemple, le fait d'avoir des revenus variables est corrélé (lié) à un risque d'erreur plus élevé.
L'ensemble de ces facteurs de risque permet de construire la formule qui sera ensuite appliquée à un dossier futur. Par exemple, tout dossier avec une variation des ressources importante verra son score de risque augmenter.
Dans les administrations sociales, ces algorithmes sont beaucoup utilisés dans le cadre des contrôles.
À retenir : ce type d'algorithme, même s'il est prédictif, reste compréhensible, du fait des techniques statistiques sur lesquelles il est construit. L'administration sait expliquer à l'allocataire pourquoi son dossier a été considéré « à risque » (même si elle ne le lui dit pas toujours).
Question 6
Pourquoi dit-on souvent que l'intelligence artificielle est une boîte noire ?
Le raisonnement de certains systèmes d'intelligence artificielle n'est pas compréhensible par les humains, d'où le terme « boîte noire ». Mais beaucoup d'algorithmes ne sont pas des boîtes noires ! Et même pour les systèmes dont on ne comprend pas le fonctionnement, certaines choses peuvent être rendues transparentes.
Pour certains systèmes d'intelligence artificielle qui « apprennent » des données, le raisonnement n'est pas compréhensible par des humains. Il s'agit des algorithmes les plus complexes, notamment ceux de « deep learning » (ou apprentissage profond), utilisés dans la reconnaissance d'image, ou d'IA générative, qui utilisent des milliers ou millions de paramètres interconnectés. Même leurs concepteurs ne peuvent pas expliquer précisément pourquoi ils arrivent à tel ou tel résultat. On connaît les données d'entrée et le résultat de sortie, mais le cheminement entre les deux reste opaque. Ce sont ces systèmes que l'on qualifie souvent de « boîtes noires ».
Mais beaucoup d'algorithmes restent compréhensibles, y compris certains algorithmes prédictifs qui se basent sur des données passées, comme beaucoup des algorithmes de contrôle utilisés par les administrations sociales. On peut identifier quels facteurs ont pesé dans la décision, et dans quelle mesure.
Par ailleurs, pour tous les algorithmes de l'administration, certaines choses peuvent être rendues transparentes : les objectifs poursuivis, les données utilisées, les évaluations…
Question 7
Est-ce que j'ai le droit de connaître les algorithmes qui sont utilisés par les administrations françaises, et leur fonctionnement ?
Oui, dans la grande majorité des cas ! Mais dans la pratique, toutes les administrations ne respectent pas la loi, et les exceptions existent.
Les administrations sont soumises à différents types d'obligations, en fonction des algorithmes visés. Pour les algorithmes qui jouent un rôle dans des décisions administratives, l'administration a l'obligation de publier en ligne les principaux algorithmes et leurs règles. Ces obligations vont être renforcées d'ici 2027 avec le règlement européen sur l'intelligence artificielle. À noter que malheureusement, seulement quelques administrations le font.
Pour les algorithmes qui utilisent des données personnelles, les administrations ont l'obligation de les lister dans un registre qui doit être soit publié, soit envoyé à la demande de toute personne. C'est le cas par exemple des chatbots.
Mais il y a des exceptions :
- Certains algorithmes sont couverts par des secrets, qui permettent aux administrations de publier moins d'informations à leur sujet. C'est le cas notamment des algorithmes impliqués dans la « recherche et la prévention d'infractions ». L'argument est souvent utilisé par les administrations pour ne pas publier les algorithmes utilisés dans le cadre des contrôles des allocataires, sous couvert que les allocataires pourraient utiliser les informations pour frauder.
- Dans le règlement européen sur l'intelligence artificielle, les algorithmes utilisés pour l'immigration, le contrôle aux frontières ou la police sont également soumis à des obligations réduites.
Question 8
Est-ce que j'ai le droit de savoir si un algorithme a été utilisé à mon sujet ? Si oui, comment ?
Oui, et vous pouvez même en connaître les règles ! Par plusieurs moyens.
D'abord, grâce à la loi pour une République numérique, vous avez le droit de savoir :
- Si un algorithme a joué un rôle dans une décision administrative vous concernant. Normalement, l'administration doit le mentionner sur la décision (par exemple, le courrier que vous recevez qui indique le montant de vos allocations, ou bien la décision de contrôle).
- Les règles de cet algorithme, si vous en faites la demande. C'est ce qu'on appelle le droit à l'explication du calcul. Pour en savoir plus sur ce deuxième droit, vous pouvez utiliser notre générateur de lettre.
Tout d'abord, grâce au RGPD, vous avez aussi le droit de savoir comment l'administration utilise vos données personnelles, et notamment si celles-ci sont utilisées par des algorithmes (notamment des chatbots). Pour en savoir plus sur ce droit, rendez-vous sur le site de l'association La Quadrature du Net.
Question 9
Est-ce que la CAF, France Travail ou une autre administration peuvent se retourner contre moi si je demande ces informations ?
Non !
Avoir accès aux informations vous concernant est votre droit. L'administration n'a en aucun cas le droit de vous « punir ». Si vous pensez que c'est le cas, vous pouvez vous défendre. N'hésitez pas à nous contacter : .
Question 10
Pourquoi est-ce important de savoir quels algorithmes sont utilisés par les administrations ?
Connaître l'existence de ces algorithmes est la première étape pour réparer de potentielles erreurs et injustices, et exercer ses droits. C'est reprendre du pouvoir, en empêchant que l'administration se cache derrière le numérique pour refuser de prendre ses responsabilités.
Connaître quels algorithmes sont utilisés est d'abord votre droit en tant que personne en contact avec les administrations. C'est ensuite une manière d'identifier et réparer de potentiels dysfonctionnements : les algorithmes et les systèmes d'intelligence artificielle peuvent perpétuer ou renforcer les discriminations (voir la FAQ discriminations), comporter des erreurs informatiques qui mènent à des résultats erronés (voir la FAQ « Quand les algorithmes déraillent »), ou porter atteinte à la protection des données personnelles (voir la FAQ « données personnelles »). Face à ces risques, vous avez des droits et l'administration a des obligations et des responsabilités. Exiger de connaître ces algorithmes, c'est reprendre du pouvoir face à la machine administrative.
À vous de jouer
Faites notre quiz interactif pour consolider vos connaissances (également disponible en version imprimable).