L’intelligence artificielle risque de créer une nouvelle forme d’irresponsabilité

Pourquoi, en tant que sociologue, vous intéresser à l'IA ?

Parce qu'elle prend déjà une place significative dans les processus de décision en santé, alors qu'il est impossible de justifier les conclusions d'un outil d'IA. Rappelons que son algorithme initial s'auto-transforme au fil d'un apprentissage, en renforçant les circuits qui arrivent aux bons résultats et en affaiblissant ceux qui se trompent. On obtient ainsi une IA très performante, mais c'est une boîte noire : personne ne peut expliquer comment elle raisonne.

Est-ce gênant si le diagnostic est très fiable ?

L'IA est très fiable tant qu'elle analyse des cas similaires à ceux employés pour l'apprentissage. Mais elle l'est beaucoup moins sur les cas minoritaires ou spécifiques. Exemple : une IA formée sur des cas de patients d'origine européenne risque d'être beaucoup moins pertinente face aux cas - nouveaux pour elle - de patients d'origine africaine ou asiatique.
Second problème : la décision médicale tient compte de considérations biologiques, mais aussi sociales, psychologiques et morales. Or, comment mettre en perspective l'avis émis par une boite noire si on ne comprend pas comment il a été formé ? 

Trouve-t-on déjà des outils d'IA dans beaucoup de processus de décision médicale ?

En France, ils sont présents dans les scanners numériques, pour obtenir des clichés plus nets et plus faciles à interpréter. Le praticien les utilise puisque c'est une fonction intégrée à l'appareil, mais ignore sur quelles bases l'IA privilégie certains éléments de l'image. Aux États-Unis et au Royaume-Uni, les médecins s'appuient sur des outils qui proposent des diagnostics à partir de descriptions de symptômes.

Mais nous n'en sommes qu'au début. L'IA est vendue pour sa fiabilité, mais sa vraie raison d'être, c'est la productivité et la baisse des coûts. Il m'arrive de participer à des groupes de réflexion créés par des grands industriels de l'IA. On parle d'éthique, de chartes, de législation, les débats sont de qualité. Mais la question est « comment faire de l'IA », jamais « faut-il faire de l'IA et avec quels risques de dérive? ».

Vous-même, que craignez-vous exactement ?

Une évolution en trois étapes, dont deux sont déjà engagées. La première, c'est le « nudging » : l'IA vous fait des suggestions que vous suivez ou non, sans avoir à vous justifier. Puis les outils d'IA se multiplient, s'améliorent, et vous enchainez avec l'étape du « labelling » : il devient difficile d'ignorer la recommandation de l'IA. Ce n'est pas encore un ordre, mais c'est plus qu'un conseil. Enfin, on arrive à la « délégation d'autorité » : la préconisation de l'IA devient une donnée non négociable, elle ne peut plus être remise en question avec des arguments rationnels.

N'est-ce pas faire preuve d'un excès de pessimisme ?

Le labelling est déjà en marche, par exemple avec des projets d'IA qui détermineront quels médicaments doivent être remboursés ou non. Et nous passerons à la délégation d'autorité le jour où un professionnel de santé sera condamné en justice parce qu'il a pris une mauvaise décision, alors que l'IA lui en proposait une autre. Qui osera encore courir le moindre risque juridique ?

C'est la nouvelle forme d'irresponsabilité que vous anticipez…

Exactement. Si l'équilibre des pouvoirs est trop défavorable au médecin, il préférera se protéger que se battre. S'il a face à lui les GAFA, les tribunaux et les organismes de santé de son pays, il ne pèsera pas lourd. Si une grande pharma fait un lobbying bien ciblé, l'IA préconisera son médicament plutôt que celui du concurrent, etc.

Quels contre-pouvoirs peuvent s'opposer à cette évolution ?

Nous avons besoin d'un débat public qui à ce jour, n'existe en France ni dans les médias, ni au sein du gouvernement ou au Parlement. On ne peut compter que sur la résistance des professionnels de santé, autour d'enjeux comme la responsabilité morale ou le principe d'autorité du médecin. Tout n'est pas joué : les professionnels de santé montrent une grande lucidité face aux prétentions, parfois exagérées, des concepteurs d'IA. Et malgré un marketing intense, IBM n'a pas vidé les hôpitaux de leurs médecins.