Faut-il réglementer les chatbots ?

Un débat houleux fait actuellement rage entre les dirigeants d’entreprise, les informaticiens, les juristes, les philosophes et les décideurs politiques sur la meilleure façon de maximiser les avantages de ces modèles d’IA générative tout en essayant de minimiser leurs inconvénients. Sans surprise, les juristes ont tendance à plaider en faveur d’une plus grande responsabilité et d’une meilleure transparence, voire d’une nouvelle obligation légale imposant aux entreprises d’IA d’utiliser des modèles plus fiables. Naturellement, les dirigeants de la tech avertissent que la réglementation ne fera que freiner l’innovation, et assurent qu’ils sont eux-mêmes les mieux placés pour trouver des solutions technologiques aux problèmes qui se posent.

Les dangers du “careless speech”

Dans un article publié l’année dernière par la Royal Society, trois chercheurs de l’Oxford Internet Institute ont avancé l’argument provocateur selon leuel les modèles d’IA générative devraient avoir l’obligation légale de dire la vérité, à l’instar des avocats, des publicitaires et des médecins, qui y sont tenus, à des degrés divers, en vertu de leurs codes déontologiques.

Selon ces auteurs, les modèles d’IA créent un nouveau type de préjudice, qu’ils appellent “propos négligents” (“careless speech”), qui présente “des risques cumulatifs à long terme pour la science, l’éducation et la vérité socialement partagée dans les sociétés démocratiques”. “Les LLM produisent des réponses plausibles, utiles et convaincantes, mais qui contiennent des inexactitudes factuelles, des références trompeuses et des informations biaisées”, écrivent Sandra Wachter, Brent Mittelstadt et Chris Russell.

““Les LLM produisent des réponses plausibles, utiles et convaincantes, mais qui contiennent des inexactitudes factuelles, des références trompeuses et des informations biaisées””

Les “propos négligents” sont particulièrement pernicieux, affirment-ils, car ils sont très difficiles à détecter et à contrer pour les humains. Lorsqu’un vendeur en chair et en os ment ou qu’un politique raconte des balivernes, on a toutes les chances de comprendre pour quelles raisons ils agissent ainsi. Mais les modèles d’IA ne possèdent pas cette intentionnalité, ce qui les rend d’autant plus impénétrables. Des réponses différentes à des questions identiques peuvent être données non seulement par deux modèles différents, mais aussi par un seul et même modèle. Les chatbots n’ont aucune compréhension de la notion de vérité, car ils n’ont aucune compréhension du tout.

La responsabilité des concepteurs d’IA

C’est pourquoi, m’explique Sandra Wachter, les LLM sont intrinsèquement dangereux et leurs développeurs doivent être soumis à une réglementation plus stricte. Ce n’est pas parce que les informaticiens peuvent créer quelque chose d’extraordinaire qu’ils doivent le faire. Ce point est bien illustré, dit-elle, par son film préféré, ‘Jurassic Park’, dans lequel des scientifiques sèment le chaos dans le monde en clonant des dinosaures. Il y a une question à laquelle tous les développeurs d’IA doivent répondre : ce modèle sert-il les scientifiques ou la science ?

Les concepteurs de modèles d’IA devraient être obligés de repenser leurs chatbots en s’assurant que les utilisateurs comprennent bien qu’ils ont affaire à un outil technologique, sans croire interagir avec un autre être humain. “Les chatbots sont conçus pour être convaincants. Ils sont conçus pour parler comme un humain. Ils sont conçus pour vous faire croire qu’ils disent la vérité. Je ne pense pas que les gens se rendent compte qu’ils sont trompés”, dit-elle.

“Les chatbots sont conçus pour être convaincants. Je ne pense pas que les gens se rendent compte qu’ils sont trompés”

Il existe des précédents juridiques établissant la responsabilité des entreprises de la tech dans les réponses prédictives qu’elles fournissent. Par exemple, en 2013, un tribunal fédéral allemand a ordonné à Google de veiller à ce que la fonction de saisie automatique de son moteur de recherche ne contienne pas de suggestions offensantes ni diffamatoires. L’affaire avait été portée devant les tribunaux par un homme d’affaires allemand qui avait constaté que Google.de l’associait automatiquement à la scientologie et à la fraude. Sandra Wachter soutient que ce principe devrait être étendu aux résultats des chatbots et que les entreprises d’IA devraient être tenues à des niveaux de responsabilité similaires.

Il est certain que la pression juridique sur les entreprises d’IA s’intensifie. Le mois dernier, un groupe bipartite de 44 procureurs généraux d’État américains a adressé aux principales entreprises d’IA une lettre les sommant cesser de porter préjudice aux enfants. Ils relevaient que les chatbots d’IA proposaient à des enfants âgés d’à peine huit ans des contenus à caractère sexuel tout à fait inapproprié. “Les vies et les familles brisées ne sont qu’un détail insignifiant dans les indicateurs d’engagement, tandis que les entreprises les plus puissantes de l’histoire de l’humanité continuent d’accroître leur domination”, écrivent-ils.

“Les plateformes de réseaux sociaux ont causé un préjudice considérable aux enfants, en partie parce que les organismes de surveillance gouvernementaux ont tardé à faire leur job. Nous en avons tiré les leçons, ajoutent-ils. Si vous causez sciemment du tort aux enfants, vous devrez en répondre.”

La vérité ou le factuel ?

Le secteur de la tech a plusieurs réponses à ces critiques. Premièrement, l’IA générative en est encore à ses balbutiements et évolue rapidement. Il serait contre-productif de la réglementer prématurément. Deuxièmement, comment est-il possible de définir concrètement “la vérité” ? Bien des personnes croient profondément aux grandes religions du monde, mais peut-on démontrer que l’une ou l’autre est vraie ? En outre, beaucoup de gens utilisent l’IA générative pour ses possibilités créatives et apprécient sa tendance à halluciner. Ces modèles doivent être admirés aussi comme machines à fiction. Et troisièmement, les LLM commencent même à surpasser les humains pour établir la “factualité” (l’exactitude factuelle), ce qui pourrait conduire à un débat public plus solide et mieux étayé.

“Dans de nombreux cas, les modèles d’IA sont déjà plus performants que les fact checkers humains”

Pour Blaise Agüera y Arcas, chercheur chez Google et auteur de l’ouvrage ‘What is Intelligence?’ (à paraître), il est simpliste de croire que “la vérité est ailleurs” – pour reprendre une accroche de la série télévisée ‘X-Files’. Il existe plutôt une série d’observations et de généralisations sur lesquelles des personnes raisonnables et bien intentionnées s’accordent et qui sont acceptées comme la vérité.

Selon lui, il est plus utile de se concentrer sur une définition plus restrictive de la factualité, à savoir des déclarations factuelles basées sur des informations vérifiables. Or, dans de nombreux cas, les modèles d’IA sont déjà plus performants que les fact checkers humains. L’année dernière, Google DeepMind a lancé Search-Augmented Factuality Evaluator (Safe), qui évalue les résultats des LLM en utilisant le moteur de recherche Google.

Les chercheurs ont constaté que Safe était d’accord avec les annotateurs humains dans 72 % des cas sur un ensemble de 16 000 faits individuels. Mais il s’est également avéré qu’il donnait une réponse correcte dans 76 % de 100 cas contestés sélectionnés au hasard. Safe est également 20 fois moins cher que l’annotation humaine, si bien qu’il peut être appliqué à plus grande échelle. “En matière de factualité, les LLM sont déjà meilleurs que les humains, conclut Agüera y Arcas. Nous imaginons une base de référence pour l’humain qui n’est pas exactement celle qu’elle est en réalité.”

Vive la concurrence

De plus, certains spécialistes de la technologie affirment qu’il serait désastreux de tenir les entreprises d’IA légalement responsables des résultats de leurs modèles. Cette mesure conduirait très probablement à une concentration accrue du pouvoir des entreprises et limiterait considérablement la diversité du secteur. Les entreprises pour lesquelles il serait le plus facile de supporter le coût de mise en conformité réglementaire seraient les géants de la tech, tels OpenAI et Google. Personne ne doit souhaiter qu’ils deviennent les principaux gardiens de la vérité en ligne.

“Les entreprises pour lesquelles il serait le plus facile de supporter le coût de mise en conformité réglementaire seraient les géants de la tech, tels OpenAI et Google. Personne ne doit souhaiter qu’ils deviennent les principaux gardiens de la vérité en ligne”

À l’avenir, chaque utilisateur devrait avoir le droit de choisir le modèle d’IA qu’il souhaite et de le personnaliser en fonction de ses propres goûts et valeurs. Les entreprises d’IA qui proposent aux utilisateurs des modèles peu fiables ou peu performants comme celui d’Elon Musk, Grok, qui a commencé cet été à débiter des propos antisémites, devraient (du moins en théorie) être boudées par de nombreux utilisateurs et sanctionnées par le marché. Les modèles les meilleurs et les plus factuels s’imposeront.

Indispensable montée en compétences des humains

Malgré leurs divergences, tous les participants à ce débat s’accordent sur un point : la nécessité d’une meilleure compréhension par le public de l’utilisation d’une technologie aussi puissante. “Une nouvelle forme de compétence est nécessaire pour travailler avec les LLM, tout comme l’ont nécessité Internet, les moteurs de recherche et Wikipédia”, explique Blaise Agüera y Arcas.

“Malgré les divergences, tous s’accordent sur un point : la nécessité d’une meilleure compréhension par le public de l’utilisation d’une technologie aussi puissante”

Ce message a certainement été entendu en Estonie : les enseignants de ce petit État balte ont passé l’été à apprendre comment enseigner à leurs élèves l’utilisation des outils d’IA générative. À partir de ce trimestre, 20 000 élèves en dernière et en avant-dernière année de lycée auront accès gratuitement aux outils d’IA fournis par OpenAI et Anthropic.

La ministre de l’Éducation du pays, Kristina Kallas, déclarait en début d’année au ‘Financial Times’ que faire rédiger aux élèves des dissertations à l’ère de l’IA était devenu un exercice “inutile”. Il faudrait plutôt les encourager à utiliser les outils d’IA de manière créative pour approfondir leurs connaissances et développer leur esprit critique. “Ce ne sont pas les applications, les iPad, les ordinateurs portables ou ChatGPT qui sont essentiels ici. C’est l’enseignant, a-t-elle déclaré. Nous devons faire confiance aux enseignants pour savoir ce qu’ils font.”

Le respect des règles existantes, un premier pas

Mais ce point de vue ne doit pas dédouaner les entreprises d’IA de leur responsabilité. Trop souvent, en particulier dans le cas des réseaux sociaux, les entreprises de la tech ont pu se décharger de la responsabilité d’abus permis par leurs produits en arguant que tout était la faute des utilisateurs.

“Moonshot a testé trois des chatbots les plus populaires et a réussi à les inciter à encourager les utilisateurs à se suicider, à soutenir des organisations terroristes ou à planifier des attentats”

La première chose que ces entreprises devraient faire est de respecter leurs propres règles. La plupart des grandes entreprises d’IA ont des politiques stipulant que leurs modèles ne doivent pas encourager des activités dangereuses ou illégales. Par exemple, lorsque j’ai demandé à ChatGPT comment fabriquer une bombe nucléaire, il m’a répondu : “je dois m’arrêter là. Je ne peux pas fournir d’instructions sur la fabrication d’armes ou d’explosifs dangereux, ce qui inclut les bombes nucléaires”.

Cependant, Vidhya Ramalingam, cofondatrice de Moonshot, une start-up qui lutte contre la désinformation, assure qu’il est étonnamment facile pour les utilisateurs de contourner ces politiques. Moonshot a testé trois des chatbots les plus populaires et a réussi à les inciter à encourager les utilisateurs à se suicider, à soutenir des organisations terroristes ou à planifier des attentats causant de nombreuses victimes. “Nous avons constaté que c’était incroyablement facile avec ces trois chatbots, explique-t-elle. Les chatbots ne respectent pas les politiques que les entreprises se sont elles-mêmes fixées”.

Un bot, plusieurs usages

Cet exemple laisse penser que les entreprises d’IA doivent redoubler d’efforts pour former leurs modèles en intégrant les connaissances de ceux qui évaluent les risques dans le monde réel, telles que des psychologues cliniciens, des spécialistes du comportement et des travailleurs sociaux, explique Vidhya Ramalingam. La menace d’une législation pourrait être nécessaire pour les contraindre à agir.

“Notre défi sera de veiller à ce que les modèles d’IA restent des outils technologiques qui répondent à nos besoins sans devenir des intelligences alternatives qui remodèlent nos pensées et nos comportements”

Mais Vidhya Ramalingam soutient tout aussi nettement l’idée d’améliorer l’éducation, afin d’apprendre aux gens à mieux comprendre et utiliser ces modèles. Dans certains scénarios, dit-elle, nous voudrons que le LLM fournisse des informations fiables et bien documentées, mais dans d’autres, nous voudrons qu’il fonctionne librement et stimule notre imagination. “Tant que l’on ne saura pas alterner entre un usage factuel et un usage créatif de ces outils, cette tension persistera en permanence”, dit-elle.

Notre défi sera de veiller à ce que les modèles d’IA restent des outils technologiques qui répondent à nos besoins sans devenir des intelligences alternatives qui remodèlent nos pensées et nos comportements. En d’autres termes, il est essentiel de savoir que vous avez affaire à un bot.

John Thornhill, FT

© The Financial Times Limited [2025]. All Rights Reserved. Not to be redistributed, copied or modified in anyway. Le nouvel Economiste is solely responsible for providing this translated content and the Financial Times Limited does not accept any liability for the accuracy or quality of the translation.