Emily Bender, sceptique de l’IA : "Le roi est nu"

Avant même qu’Emily Bender et moi ayons jeté un œil au menu, elle a qualifié les chatbots dotés d’intelligence artificielle de “machines à plagier” et d’“extrudeuses de texte synthétique”. À peine sommes-nous servis, la professeure de linguistique ajoute que les fameux grands modèles de langage (LLM) qui les sous-tendent sont “nés pourris”.

Depuis le lancement fin 2022 par OpenAI de ChatGPT, son si célèbre chatbot, les entreprises d’IA ont levé des dizaines de milliards de dollars en promettant des avancées scientifiques, l’abondance matérielle et un nouveau chapitre pour la civilisation humaine. L’IA est déjà capable d’effectuer des tâches élémentaires et sera bientôt en mesure de “découvrir de nouvelles connaissances”, a déclaré Sam Altman, directeur général d’OpenAI, lors d’une conférence ce mois-ci.

Perroquet stochastique

Selon Emily Bender, on nous vend un mensonge : l’IA ne tiendra pas ces promesses, pas plus qu’elle ne nous tuera tous, comme d’autres l’ont prédit. Malgré le battage médiatique, l’IA est assez médiocre dans la plupart des tâches et même les meilleurs systèmes disponibles aujourd’hui sont dépourvus de quoi que ce soit qui s’apparente à de l’intelligence, affirme-t-elle. Les récentes déclarations affirmant que ces modèles développent une capacité à comprendre le monde au-delà des données sur lesquelles ils sont entraînés sont absurdes. “Nous imaginons un esprit derrière le texte”, dit-elle, mais “la compréhension est entièrement de notre côté”.

Emily Bender, 51 ans, est une experte en modélisation du langage humain par les ordinateurs. Elle a débuté sa carrière universitaire à Stanford et Berkeley, deux institutions de la baie de San Francisco qui sont à l’origine de la révolution moderne de l’IA, et a travaillé chez YY Technologies, une entreprise spécialisée dans le traitement du langage naturel. Elle a été témoin de l’éclatement de la bulle Internet en 2000.

“Nous avons besoin que plus de gens ne se laissent pas séduire, n’y croient pas, et que ces personnes occupent des postes à responsabilité.”

Sa mission est désormais de démystifier “l’IA”, qu’elle ne désigne qu’entre guillemets et qui, selon elle, devrait simplement être appelée “automatisation”. “Si nous voulons sortir de cette bulle, je pense que nous avons besoin que plus de gens ne se laissent pas séduire, n’y croient pas, et que ces personnes occupent des postes à responsabilité”, explique-t-elle.

Dans un récent ouvrage intitulé ‘The AI Con’ (“L’imposture de l’IA”, non traduit), elle et son coauteur, le sociologue Alex Hanna, s’attaquent sans détour à l’engouement pour l’IA et tirent la sonnette d’alarme sur les effets plus insidieux de cette technologie. Emily Bender explique clairement sa motivation. “Je pense que tout se résume en deux mots : personne ne devrait avoir le pouvoir d’imposer sa vision du monde”, dit-elle. Grâce aux sommes colossales investies, une petite cabale d’hommes se retrouve en mesure de façonner l’avenir de larges pans de la société. “Cela me met vraiment hors de moi”, ajoute-t-elle.

Sa thèse est que les chatbots sophistiqués et les outils de génération d’images créés par OpenAI et ses concurrents Anthropic, xAI d’Elon Musk, Google et Meta ne sont guère plus que des “perroquets stochastiques”, un terme qu’elle a inventé dans un article publié en 2021. Un perroquet stochastique, écrivait-elle, est un système “qui assemble au hasard des séquences de formes linguistiques qu’il a observées dans ses vastes données d’entraînement, en fonction d’informations probabilistes sur la manière dont elles se combinent, mais sans aucune référence au sens”.

Cet article l’a propulsée sur le devant de la scène et a déclenché une vive réaction dans les cercles de l’IA. Deux de ses coauteurs, des membres éminents de l’équipe chargée de l’éthique de l’IA chez Google, ont perdu leur emploi dans l’entreprise peu après la publication. Emily Bender a également été critiquée par d’autres universitaires qui considèrent sa position comme hérétique. “J’ai l’impression que les gens sont furieux que je remette en cause ce qu’ils considèrent comme le couronnement de notre domaine de recherche”, dit-elle.

Cette controverse a mis en évidence les tensions entre ceux qui souhaitent commercialiser rapidement l’IA et ceux qui mettent en garde contre ses dangers et réclament un développement plus responsable. Au cours des quatre années écoulées depuis cet article, les premiers ont pris le dessus.

Le pouvoir de sensibiliser l’opinion

Nous nous retrouvons dans un restaurant de sushis discret à Fremont, près de Seattle, non loin de l’université de Washington où enseigne Mme Bender. Nous sommes presque les seuls clients en ce lundi après-midi ensoleillé de mai, et le serveur, au bout de trente minutes et trois tentatives, s’est lassé de nous demander ce que nous voulions et a abandonné. Nous nous tournons donc vers l’iPad posé sur la table, qui promet de simplifier le processus.

Mais c’est tout le contraire. “Je vais prendre un de ceux-ci, dit mon invitée. Ajouter au panier. ‘Le produit réel peut différer de l’image.’ Heureusement, l’image est grise ! C’est parfait. Bon. Montre-moi le… Où est l’‘otoro’ ? Voyons voir. Ah, ils ne l’ont peut-être pas.” Nous abandonnons. Le serveur revient et confirme qu’ils ont bien de l’“otoro”, un morceau gras de ventre de thon. Réalisant que je suis britannique, il s’attarde pour me demander quelle équipe de football je soutiens, me présente ses condoléances pour la deuxième place d’Arsenal cette saison et me dit qu’il est fan de Tottenham. Je me demande s’il est trop tard pour revenir à l’iPad.

“Nous n’essayons pas de faire changer d’avis Sam Altman. Nous essayons de participer au débat qui fait évoluer l’opinion des autres sur Sam Altman et sa technologie.”

Emily Bender n’était pas destinée à se battre contre les plus grandes entreprises du monde. “[Il y a dix ans], je m’occupais de mes affaires, je faisais de l’ingénierie grammaticale”, dit-elle. Mais quand une vague de mouvements sociaux, dont Black Lives Matter, a balayé son campus, elle a commencé à se demander : “où est ma place ? Quel pouvoir ai-je et comment puis-je l’utiliser ?”. Elle a mis sur pied un cours sur l’éthique dans les technologies linguistiques et, quelques années plus tard, elle s’est retrouvée “à avoir des discussions interminables sur Twitter avec des informaticiens qui n’avaient aucune formation en linguistique pour expliquer pourquoi les modèles linguistiques ne ‘comprenaient’ pas”.

Finalement, Sam Altman lui-même est venu débattre. Après la publication de l’article d’Emily Bender, il a tweeté : “je suis un perroquet stochastique, et vous aussi”. Ironiquement, compte tenu de la critique de la linguiste à l’égard de l’IA, qu’elle qualifie de “machine à régurgiter”, cette phrase lui est désormais souvent attribuée.

Elle considère que son rôle est “d’être capable de dire la vérité au pouvoir grâce à mon expertise académique”. Selon elle, la vérité est que les machines sont intrinsèquement beaucoup plus limitées que ce qu’on nous fait croire.

Sa critique de la technologie repose sur une préoccupation plus humaine : les chatbots, salués comme un nouveau paradigme en matière d’intelligence, menacent d’accélérer l’isolement social, la dégradation de l’environnement et les pertes d’emploi. La formation de modèles de pointe coûte des milliards de dollars, nécessite d’énormes quantités d’énergie et d’eau, et recourt à une main-d’œuvre de pays en développement prête à étiqueter des images révoltantes ou à classer des textes pour un salaire de misère. En définitive, tout ce travail et toute cette énergie serviront à créer des chatbots qui remplaceront ceux dont l’art, la littérature et les connaissances constituent aujourd’hui les données brutes de l’IA. “Nous n’essayons pas de faire changer d’avis Sam Altman. Nous essayons de participer au débat qui fait évoluer l’opinion des autres sur Sam Altman et sa technologie”, explique-t-elle.

IAG et fausse capacité de raisonnement

La table est désormais remplie de plats. Le “nigiri otoro” est moelleux, tendre et tout aussi bon que mon invitée l’avait promis. Nous avons tous les deux commandé du “tofu agedashi”, parfaitement frit pour rester ferme dans son bain de “dashi” [bouillon clair, ndt] et de sauce soja. Des nigiri au saumon, des makis à l’avocat et du thé occupent également l’espace entre nous.

Emily Bender et Alex Hanna ont écrit ‘The AI Con’ fin 2024, année qu’ils décrivent dans le livre comme l’apogée du boom de l’IA. Mais depuis, la course pour dominer cette technologie n’a fait que s’intensifier. Des entreprises de premier plan, telles qu’OpenAI, Anthropic et son rival chinois DeepSeek, ont lancé ce que l’équipe IA de Google décrit comme des “modèles de pensée, capables de raisonner avant de répondre”.

La capacité de raisonnement représenterait une étape importante dans le développement d’une IA capable de surpasser les experts dans tous les domaines de l’intelligence humaine, objectif communément appelé “intelligence artificielle générale”, ou IAG. Plusieurs personnalités éminentes du domaine, dont Sam Altman, Ilya Sutskever, ancien directeur scientifique et cofondateur d’OpenAI, et Elon Musk, ont affirmé que cet objectif était à portée de main.

Les meilleurs modèles de “raisonnement” actuels “sont confrontés à un effondrement complet de leur précision au-delà d’un certain niveau de complexité”.

Le directeur d’Anthropic, Dario Amodei, voit dans l’IAG “un terme imprécis qui a accumulé beaucoup de bric-à-brac issu de la science-fiction et de battage médiatique”. Mais d’ici l’année prochaine, selon lui, nous pourrions disposer d’outils “plus intelligents qu’un lauréat du prix Nobel dans la plupart des domaines pertinents”, “capables de contrôler les outils physiques existants” et “de prouver des théorèmes mathématiques non résolus”. En d’autres termes, avec plus de données, une puissance de calcul accrue et des avancées dans la recherche, les modèles d’IA actuels ou quelque chose qui leur ressemble beaucoup pourraient repousser les limites de la compréhension et des capacités cognitives humaines.

Emily Bender qualifiant cette technologie d’“emballage sophistiqué autour de quelques feuilles de calcul”. Les LLM ingèrent des quantités considérables de données et basent leurs réponses sur la probabilité statistique que certains mots apparaissent à côté d’autres. Les progrès informatiques, l’abondance des données en ligne et les avancées de la recherche ont rendu ce processus beaucoup plus rapide, sophistiqué et pertinent. Mais il n’y a ni magie ni esprit émergent, affirme Emily Bender.

“Si vous voulez apprendre les combinaisons de mots qui fonctionnent dans une langue donnée, si elles ne figurent pas dans les données d’entraînement, elles ne seront pas dans le système de sortie. C’est tout simplement fondamental”, explique-t-elle.

En 2020, la linguiste a rédigé un article comparant les LLM à une pieuvre hyperintelligente qui écouterait les conversations humaines : elle pourrait repérer les schémas statistiques, mais aurait peu de chances de comprendre le sens ou l’intention, ou d’être capable de faire référence à quoi que ce soit en dehors de ce qu’elle a entendu. Elle arrive à notre déjeuner aujourd’hui avec une paire de boucles d’oreilles en bois en forme de pieuvre.

D’autres sceptiques dans le domaine, tels que le chercheur en IA Gary Marcus, affirment que le potentiel de transformation des meilleurs modèles actuels a été largement surestimé et que l’IAG reste un rêve chimérique. Une semaine après ma rencontre avec Emily Bender, un groupe de chercheurs d’Apple a publié un article reprenant certaines des critiques de mon invitée. Les meilleurs modèles de “raisonnement” actuels “sont confrontés à un effondrement complet de leur précision au-delà d’un certain niveau de complexité”, écrivent les auteurs, même si les chercheurs n’ont pas tardé à critiquer la méthodologie et les conclusions de l’article.

Une version améliorée du Magic 8 Ball

La voix des sceptiques a tendance à être étouffée par celle des partisans plus influents et mieux financés. OpenAI lève 40 milliards de dollars auprès d’investisseurs menés par SoftBank, l’investisseur japonais dans les technologies, tandis que ses rivaux xAI et Anthropic ont également obtenu des milliards de dollars l’année dernière. OpenAI, Anthropic et xAI sont aujourd’hui valorisés à près de 500 milliards de dollars. Avant le lancement de ChatGPT, la valorisation d’OpenAI et d’Anthropic était à une fraction de ce montrant et xAI n’existait pas. “Il est dans leur intérêt que tout le monde croie qu’il s’agit d’une entité pensante très, très puissante, plutôt que d’une version améliorée du Magic 8 Ball [jouet américain en forme de boule de billard n°8 qu’on secoue après avoir posé une question, et une petite fenêtre laisse apparaître une réponse aléatoire du type “Oui”, “Non”, “Redemandez plus tard”]”, explique Emily Bender.

“Plus nous construisons de systèmes à partir de cette technologie, plus nous poussons les travailleurs hors des carrières durables et supprimons les postes de débutants… Sans parler de l’impact environnemental.”

Nous discutons depuis une heure et demie, le bol d’edamame entre nous se vide peu à peu et nos tasses de thé d’orge ont été remplies plus d’une fois. Alors que mon invitée revient à son sujet principal, je remarque qu’elle a discrètement fabriqué un oiseau en origami avec l’emballage de ses baguettes. Les promoteurs de l’IA font peut-être de fausses promesses, mais leurs actions ont des conséquences réelles, dit-elle. “Plus nous construisons de systèmes à partir de cette technologie, plus nous poussons les travailleurs hors des carrières durables et supprimons les postes de débutants… Sans parler de l’impact environnemental”, ajoute-t-elle.

Emily Bender est une interlocutrice divertissante, une Cassandre au sourire ironique et au regard pétillant. On a parfois l’impression qu’elle joue le rôle de l’ennemie jurée des patrons de la tech qui vivent sur la côte Pacifique, à San Francisco et dans ses environs. Mais si le potentiel de la technologie éblouit les “bêtes noires” de Mme Bender dans la Silicon Valley, elle-même semble s’aveugler d’une autre manière. Quand je lui demande si elle voit une utilisation positive de l’IA, elle se contente de répondre qu’elle pourrait l’aider à trouver une chanson.

Je lui demande comment elle concilie ses deux affirmations selon lesquelles les chatbots sont à la fois générateurs de bêtises et capables de dévorer une grande partie du marché du travail. Emily Bender répond qu’ils peuvent être à la fois “inefficaces et nuisibles”, et donne l’exemple d’un chatbot capable de produire des articles d’actualité plausibles sans aucun reportage réel – idéal pour l’animateur d’un site web qui gagne de l’argent grâce à la publicité au clic, mais moins pour les journalistes et le public en quête de vérité.

Elle soutient avec virulence que les chatbots sont imparfaits dès leur conception, car ils sont entraînés à partir de données truffées de biais. Même un champ aussi restreint que la politique d’une entreprise peut contenir des préjugés et des erreurs, dit-elle.

Ne s’agit-il pas en réalité de critiques de la société plutôt que de la technologie ? La linguiste rétorque que la technologie construite sur le chaos de la société ne se contente pas de reproduire ses erreurs, mais les renforce, car les utilisateurs pensent “que [l’IA] est tellement vaste qu’elle englobe tout et peut tout voir, qu’elle a donc une vision globale. Je pense qu’il est toujours important de reconnaître qu’il n’existe pas de vision globale”.

Les enjeux commerciaux de la course à l’IA

Emily Bender a dédié ‘The AI Con’ à ses deux fils, qui sont compositeurs, et elle s’anime particulièrement lorsqu’elle décrit l’impact néfaste de l’IA sur les industries créatives. Elle est également très critique quant à la capacité de l’IA à faire preuve d’empathie ou à offrir une compagnie. Lorsqu’un chatbot vous dit qu’il vous écoute ou qu’il vous comprend, ce n’est rien d’autre qu’un placebo. “Lorsque Mark Zuckerberg suggère qu’il existe une demande pour des relations amicales qui vont au-delà de celles que nous avons réellement et qu’il va répondre à cette demande avec ses amis IA, ce sont en fait sont les entreprises de la tech qui disent : ‘nous allons vous isoler les uns des autres et nous assurer que toutes vos relations passent par la technologie’.”

“Le roi est nu. Mais il est surprenant de voir que tant de gens veulent être le roi nu.”

Pourtant, les employeurs déploient cette technologie et y trouvent une valeur ajoutée. L’IA a accéléré la vitesse à laquelle les ingénieurs logiciels peuvent écrire du code, et plus de 500 millions de personnes utilisent régulièrement ChatGPT. L’IA est également une pierre angulaire de la politique nationale du président américain Donald Trump, qui considère que la supériorité technologique est essentielle pour gagner une nouvelle guerre froide contre la Chine. La course à l’IA s’en trouve accélérée et les appels à une réglementation plus stricte, étouffés. Nous discutons des parallèles entre l’engouement actuel pour l’IA et les origines de ce domaine dans les années 1950, lorsque le mathématicien John McCarthy et l’informaticien Marvin Minsky ont organisé un atelier au Dartmouth College pour discuter des “machines pensantes”. À l’époque, cette initiative s’inscrivait dans le contexte d’une compétition existentielle avec l’Union soviétique. Cette fois-ci, le péril rouge naît de la crainte que la Chine développe l’IAG avant les États-Unis et utilise sa maîtrise de cette technologie pour affaiblir son rival.

Selon Emily Bender, cet argument est spécieux, et devancer la Chine dans le domaine de la superintelligence est un objectif inutile compte tenu de la capacité de ce pays à rattraper rapidement son retard, comme l’a démontré le lancement d’un concurrent de ChatGPT par DeepSeek au début de l’année.

Néanmoins, la concurrence entre les deux puissances a créé d’énormes opportunités commerciales pour les start-up américaines. Lors du premier jour de son second mandat, Donald Trump a invité Sam Altman à la Maison-Blanche pour dévoiler Stargate, un projet de centre de données de 500 milliards de dollars destiné à consolider la primauté des États-Unis en matière d’IA. Le projet s’est depuis étendu à l’étranger, dans le cadre de ce que les premiers concernés décrivent comme une “diplomatie commerciale” visant à renforcer la sphère d’influence américaine grâce à cette technologie.

Si Emily Bender a raison de dire que l’IA n’est que de l’automatisation sous un emballage brillant, cet investissement financier et politique sans précédent ne fera que contribuer à l’érosion de professions, d’institutions sociales et d’un environnement déjà fragiles. Alors pourquoi tant de gens sont-ils convaincus qu’il s’agit d’une technologie plus importante que l’Internet ? lui demandé-je. Certains ont un intérêt commercial à le croire, d’autres sont plus honnêtes mais tout aussi naïfs, dit-elle. “Le roi est nu. Mais il est surprenant de voir que tant de gens veulent être le roi nu.”

George Hammond, FT

© The Financial Times Limited [2025]. All Rights Reserved. Not to be redistributed, copied or modified in anyway. Le nouvel Economiste is solely responsible for providing this translated content and the Financial Times Limited does not accept any liability for the accuracy or quality of the translation.