Autour de l’informatique : les algorithmes et la disparition du sujet

Cet article est publié en collaboration avec le blog Binaire qui propose un nouvel « Entretien autour de l’informatique ».

Antoinette Rouvroy, chercheure au Fond National de la Recherche Scientifique Belge, rattachée au Centre de Recherche Information, Droit et Société de l’Université (CRIDS ) de l’Université de Namur répond aux questions de Binaire sur les algorithmes et la gouvernementalité algorithmique. Elle nous conduit aux frontières du droit et de la philosophie. C’est une occasion exceptionnelle de nous interroger sur ces nouvelles dimensions de nos vies et du monde numérique.

Antoinette Rouvroy, qui êtes-vous ?

Antoinette Rouvroy : J’ai fait des études de droit, que j’ai poursuivies par une thèse de doctorat en philosophie du droit à l’Institut universitaire européen de Florence. Je m’intéresse depuis lors aux enjeux philosophiques, politiques et juridiques de la « numérisation » du monde et de ses habitants et de l’autonomisation croissante des systèmes informatiques.

Le problème de la protection des données personnelles se pose-t-il aujourd’hui de façon aiguë ?

Il est vrai que le phénomène des « données massives » (big data) met les régimes juridiques de protection des données personnelles « en crise ». Ce qui pose problème, avec la prolifération exponentielle, extrêmement rapide, de données numériques diverses, c’est tout d’abord que les régimes de protection des données semblent peu aptes à faire face aux défis inédits posés par les phénomènes de profilage et de personnalisation propres à la société numérisée.

Aujourd’hui, toute donnée numérique est potentiellement susceptible de contribuer à nous identifier ou à caractériser très précisément nos comportements singuliers si elle est croisée avec d’autres données même peu « personnelles ». Ce qui paraît nous menacer, dès lors, ce n’est plus prioritairement le traitement inapproprié de données personnelles, mais surtout la prolifération et la disponibilité même de données numériques, fussent-elles impersonnelles, en quantités massives. Les informaticiens le savent : l’[anonymat](https://fr.Wikimédia.org/wiki/Identit%C3%A9_num%C3%A9rique_(Internet), par exemple est une notion obsolète à l’heure des big data. Les possibilités illimitées de croisements de données anonymes et de métadonnées (données à propos des données) permettent très facilement de ré-identifier les personnes quand bien même toutes les données auraient été anonymisées.

C’est la quantité plus que la qualité des données traitées qui rend le traitement éventuellement problématique…

Ces quantités massives de données et les big data entrent en opposition frontale avec les grands principes de la protection des données : la minimisation (on ne collecte que les données nécessaires au but poursuivi), la finalité (on ne collecte les données qu’en vue d’un but identifié, déclaré, légitime), la limitation dans le temps (les données doivent être effacées une fois le but atteint, et ne peuvent être utilisées, sauf exception, à d’autres fins les fins initialement déclarées). Les big data, c’est au contraire une collecte maximale, automatique, par défaut, et la conservation illimitée de tout ce qui existe sous une forme numérique, sans qu’il y ait, nécessairement, de finalité établie a priori. L’utilité des données ne se manifeste qu’en cours de route, à la faveur des pratiques statistiques de datamining, de machine-learning, etc.

Pourtant, ne peut-on pas étendre le champ des données protégées ? Cela reviendrait à soumettre aux régimes juridiques de protection des données quasiment toutes les données numériques, cela signerait la mise à mort de l’économie numérique européenne. Il y a-t-il autre chose à faire ?

L’urgence, aujourd’hui, c’est de se confronter à ce qui fait réellement problème plutôt que de continuer à fétichiser la donnée personnelle tout en flattant l’individualisme possessif de nos contemporains à travers des promesses de contrôle individuel accru, voire de propriété et de libre disposition commerciale de chacun sur « ses » données. Si l’on se place du point de vue de l’individu, d’ailleurs, le problème n’est pas celui d’une plus grande visibilité sociale ni d’une disparition de la sphère privée. On assiste au contraire à une hypertrophie de la sphère privée au détriment de l’espace public.

Les technologies contemporaines de l’information et de la communication ne nous rendent pas vraiment plus « visibles ». Les « demoiselles du téléphone » de jadis, entremetteuses incontournables et pas toujours discrètes des rendez-vous galants dans des microcosmes sociaux avides de rumeurs, représentaient une menace au moins aussi importante pour la protection des données personnelles et de la vie privée des personnes que les algorithmes aveugles et sourds des moteurs de recherche d’aujourd’hui. Peut-être n’avons-nous jamais été moins « visibles », moins « signifiants » dans l’espace public en tant que sujets, en tant que personnes, qu’aujourd’hui. La prolifération des selfies et autres performances identitaires numériques est symptomatique à cet égard. L’incertitude d’exister induit une pulsion d’édition de soi sans précédent : se faire voir pour croire en sa propre existence.

Le vrai enjeu qui se profile est la disparition de la « personne »…

Ce qui intéresse les bureaucraties privées et publiques qui nous « gouvernent », c’est de détecter automatiquement nos « potentialités », nos propensions, ce que nous pourrions désirer, ce que nous serions capables de commettre, sans que nous en soyons nous-mêmes parfois même conscients. Une propension, un risque, une potentialité, ce n’est pas encore une personne. L’enjeu, ce n’est pas la donnée personnelle, mais bien plutôt la disparition de la « personne » dans les deux sens du terme. Il nous devient impossible de n’être « personne », d’être « absents » (nous ne pouvons pas ne pas laisser de traces) et il nous est impossible de compter en tant que « personne ». Ce que nous pourrions dire de nous-mêmes ne devient-il pas redondant, sinon suspect, face à l’efficacité et à l’objectivité machinique des profilages automatiques dont nous faisons l’objet ?

Les traces parlent de/pour nous mais ne disent pas qui nous sommes : elles disent ce dont nous sommes capables. Aux injonctions explicites de performance-production et de jouissance-consommation qui caractérisaient le néolibéralisme s’ajoute la neutralisation de « ce dont nous serions capables », de « ce que nous pourrions vouloir ». Dans le domaine militaire et sécuritaire, c’est l’exécution par drones armés ou les arrestations préventives de potentiels combattants ou terroristes. Dans le domaine commercial, il ne s’agit plus tant de satisfaire la demande, mais de l’anticiper.

N’y a-t-il pas contradiction entre la disparition de la « personne » et l’hyper personnalisation ?

Oui, il peut paraître paradoxal que, dans le même temps, l’on fasse l’expérience à la fois de la personnalisation des environnements numériques, des interactions administratives, commerciales, sécuritaires… grâce à un profilage de plus en plus intensif et de la disparition de la personne ! L’hyper personnalisation des environnements numériques, des offres commerciales, voire des interactions administratives, porte moins la menace d’une disparition de la vie privée que celle d’une hypertrophie de la sphère privée au détriment de l’espace public.

D’une part, il devient de plus en plus rare, pour l’individu, d’être exposé à des choses qui n’ont pas été prévues pour lui, de faire, donc, l’expérience d’un espace public, commun ; d’autre part, les critères de profilage des individus échappent à la critique et à la délibération collective, alors même qu’ils ne sont, pas plus que la réalité sociale dont ils se prétendent le reflet passif, justes et équitables.

Par ailleurs, les individus sont profilés non plus en fonction de catégories socialement éprouvées (origine ethnique, genre, expérience professionnelle, etc.) dans lesquelles ils pouvaient se reconnaître, à travers lesquels ils pouvaient faire valoir des intérêts collectifs, mais en fonction de « profils » produits automatiquement en fonction de leurs trajectoires et interactions numériques qui ne correspondent plus à aucune catégorie socialement éprouvée. Ce qui me semble donc surtout menacé, aujourd’hui, ce n’est pas la sphère privée (elle est, au contraire, hypertrophiée), mais l’espace public, l’« en commun ».

Nous intéressons les plates-formes, comme Google, Amazon, ou Facebook, en tant qu’émetteurs et agrégats temporaires de données numériques, c’est-à-dire de signaux calculables. Ces signaux n’ont individuellement peu de sens, ne résultent pas la plupart du temps d’intentions particulières d’individu, mais s’apparentent plutôt aux « traces » que laissent les animaux, traces qu’ils ne peuvent ni s’empêcher d’émettre, ni effacer, des « phéromones numériques », en quelque sorte.

Ces phéromones numériques nourrissent des algorithmes qui repèrent, au sein de ces masses gigantesques de données des corrélations statistiquement significatives, qui servent à produire des modèles de comportements. Les causes, les raisons, les motivations, les justifications des individus, les conditions socio-économiques ou environnementales ayant présidé à tel ou tel état du « réel » transcrit numériquement n’importent plus du tout dans cette nouvelle forme de rationalité algorithmique.

Non seulement on peut s’en passer, mais en plus la recherche des causes, des motivations psychologiques, l’explicitation des trajectoires biographiques devient moralement condamnables : « Expliquer, c’est déjà un peu vouloir excuser », disait Manuel Vals le 10 janvier à l’occasion d’une cérémonie organisée sur la Place de la République à Paris en mémoire des victimes d’une attaque terroriste. On est dans une logique purement statistique, purement inductive. Il ne reste aux « sujets » plus rien à dire : tout est toujours déjà « pré-dit ». Les données parlent d’elles-mêmes ; elles ne sont plus même censées rien « représenter » car tout est toujours déjà présent, même l’avenir, à l’état latent, dans les données. Dans cette sorte d’idéologie technique, les big data, avec une prétention à l’exhaustivité, seraient capables d’épuiser la totalité du réel, et donc aussi la totalité du possible.

*Le processus de formalisation et d’expression du désir se retrouve court-circuité…
*

Ce qui intéresse les plates-formes de commerce en ligne, par exemple, c’est de court-circuiter les processus à travers lesquels nous construisons et révisons nos choix de consommation, pour se brancher directement sur nos pulsions préconscientes, et produire ainsi du passage à l’acte d’achat si possible en minimisant la réflexion préalable de notre part.

L’abandon des catégories générales au profit du profilage individuel conduit à l’hyper-individualisation, à une disparition du sujet, dans la mesure où, quelles que soient ses capacités d’entendement, de volonté, de réflexivité, d’énonciation, celles-ci ne sont plus ni présupposées, ni requises. L’automatisation fait passer directement des pulsions de l’individu à l’action ; ses désirs le précèdent. Ce que cela met à mal – et on pourrait se rapporter pour cela à Deleuze et Spinoza – c’est la puissance des sujets, c’est-à-dire, leur capacité à ne pas faire tout ce dont ils sont capables. Du fait de la détection automatique de l’intention, le processus de formalisation et d’expression du désir est court-circuité.

Je ne condamne pas ici dans l’absolu l’ « intelligence des données », ni la totalité des usages et applications qui peuvent être faits des nouveaux traitements de données de type big data. Il y a des applications formidables, dans de nombreux domaines scientifiques notamment. La « curiosité automatique » des algorithmes capables de naviguer dans les données sans être soumis au joug de la représentation et sans être limités par l’idée du point de vue toujours situé de l’observateur humain, tout cela ouvre des perspectives inédites et promet des découvertes inattendues. Ce dont je m’inquiète ici, c’est des usages contemporains de cette rationalité algorithmique pour la modélisation et le gouvernement des comportements humains.

Mais, est-ce que c’est nouveau ? L’individu fait ses choix et décide en fonction de ce qu’il sait. Quand un algorithme fait une recommandation, n’est-ce pas une chance, pour l’individu d’être mieux informé, et donc de faire des choix plus éclairés, moins arbitraires ?

Bien sûr, nous n’avons jamais été les êtres parfaitement rationnels et autonomes, unités fondamentales du libéralisme fantasmés notamment par les économistes néo-classiques. La seule liberté que nous ayons, écrivait Robert Musil, c’est celle de faire volontairement ce que nous voulons involontairement. Mais, si nous ne maîtrisons pas ce qui détermine effectivement nos choix, il doit nous être néanmoins possible, après coup, de nous y reconnaître, de nous y retrouver, d’adhérer au fait d’avoir été motivés dans nos choix, dans nos décisions, par tel ou tel élément que nous puissions, après coup, identifier, auquel nous puissions, après coup toujours, souscrire. La liberté consiste donc, pour moi, en la capacité que nous avons de rendre compte de nos choix alors même que nous ne maîtrisons pas les circonstances qui ont présidé à la formation de nos préférences.

Par contre, il n’est pas vrai, à mon sens, que l’individu fasse toujours des choix et prenne des décisions seulement ni prioritairement en fonction de ce qu’il connaît. La détection des profils psychologiques de consommateurs et la personnalisation des offres en fonction de ces profils permet d’augmenter les ventes, mais pas nécessairement d’émanciper les individus, qui pourraient très bien, alors qu’ils sont de fait extrêmement sensibles à l’argument de la popularité, préférer parfois cultiver l’objet rare ou, alors qu’ils sont victimes de leurs pulsions tabagiques ou alcooliques, préférer n’être pas incités à consommer ces substances addictives. Le profilage algorithmique, dans le domaine du marketing, permet l’exploitation des pulsions conformistes ou addictives dont les individus peuvent préférer n’être pas affectés. C’est bien d’un court-circuitage des processus réflexifs qu’il s’agit en ce cas.

Les algorithmes de recommandation automatique pourraient aussi intervenir dans la prise de décision administrative ou judiciaire à l’égard de personnes. Imaginez par exemple un système d’aide à la décision fondé sur la modélisation algorithmique du comportement des personnes récidivistes. Alors qu’il ne s’agit en principe que de « recommandations » automatisées laissant aux fonctionnaires toute latitude pour suivre la recommandation ou s’en écarter, il y a fort à parier que très peu s’écarteront de la recommandation négative (suggérant le maintien en détention plutôt qu’une libération conditionnelle ou anticipée) quelle que soit la connaissance personnelle qu’ils ont de la personne concernée et quelle que soit leur intime conviction quant aux risques de récidive, car cela impliquerait de prendre personnellement la responsabilité d’un éventuel échec. De fait, la recommandation se substitue en ce cas à la décision humaine, et les notions de choix, mais aussi de décision, et de responsabilité, sont éclipsées par l’opérationnalité des machines.

Dans le cas de la libération conditionnelle, entre un algorithme qui se trompe dans 5 % des cas et un décideur qui se trompe dans 8 % des cas, il faut se méfier de l’algorithme et ne croire qu’en la dimension humaine ?
En premier lieu, il est difficile de dire quand exactement un algorithme « se trompe ». Si l’on peut effectivement évaluer le nombre de « faux négatifs » (le nombre de récidivistes non détectés et donc libérés), il est en revanche impossible d’évaluer le nombre de « faux positifs » (les personnes maintenues en détention en raison d’un « profil » de récidivistes potentiels, mais qui n’auraient jamais récidivé si elles avaient été libérées).

Faut-il tolérer un grand nombre de faux positifs si cela permet d’éviter quelques cas de récidive ? C’est une question éthique et politique qui mérite d’être débattue collectivement. La problématique est assez similaire à celle d’une éventuelle arrestation préventive de personnes désignées, sur la seule base d’un profilage algorithmique, comme terroristes potentiels. En principe, la présomption d’innocence fait encore partie du fond commun de la culture juridique dans nos pays. Il ne faudrait pas que cela change sans qu’il en soit débattu politiquement. La modélisation algorithmique du comportement récidiviste peut être utile et légitime, mais seulement à titre purement indicatif. La difficulté est de maintenir ce caractère « purement indicatif », de ne pas lui accorder davantage d’autorité. La décision de libération peut être justifiée au niveau de la situation singulière d’un individu dont pourtant le comportement correspond au modèle d’un comportement de futur récidiviste.

Beaucoup des éléments qui font la complexité d’une personne échappent à la numérisation. De plus, une décision à l’égard d’une personne a toujours besoin d’être justifiée par celui qui la prend en tenant compte de la situation singulière de l’individu concerné. Or les recommandations automatiques fonctionnent bien souvent sur des logiques relativement opaques, difficilement traduisibles sous une forme narrative et intelligible. Les algorithmes peuvent aider les juges, mais ne peuvent les dispenser de prendre en compte l’incalculable, le non numérisable, ni de justifier leurs décisions au regard de cette part d’indécidable.

Les algorithmes sont toxiques si nous nous en servons pour optimiser l’intolérable en abdiquant de nos responsabilités – celle de nous tenir dans une position juste par rapport à notre propre ignorance et celle de faire usage des capacités collectives que nous avons de faire changer le monde. Les algorithmes sont utiles, par contre, lorsqu’ils nous permettent de devenir plus intelligents, plus sensibles au monde et à ses habitants, plus responsables, plus inventifs. Le choix de les utiliser d’une manière paresseuse et toxique ou courageuse et émancipatrice nous appartient.

Serge Abiteboul, Directeur de recherche à Inria, membre de l’Académie des Sciences, professeur affilié , Ecole Normale Supérieure Paris-Saclay – Université Paris-Saclay et Christine Froidevaux, Professeur d’informatique, Université Paris Sud – Université Paris-Saclay

La version originale de cet article a été publiée sur The Conversation.