GPT-3, le “language generator” qui fait parler les curieux
Un titre quelque peu racoleur — pas le mien !, celui de l’article dont il va être question : « Comment GPT-3 repousse les limites de l’intelligence artificielle », publié le 27/11/2020 sur France 24 — soutenu par l’immanquable illustration d’un robot androïde (donc forcément très intelligent) se questionnant, tel un Penseur de Rodin post-moderne, devant un tableau noir rempli de symboles cabalistiques (bon, en fait, à y regarder de plus près, ce ne sont que des formules de maths bidons du niveau Première), on va encore dire que je m’en prends à l’innocent… Peut-être, mais c’est pour défendre la veuve et l’orphelin ! D’ailleurs, c’est en partie en réaction contre ce genre d’articles que j’ai écrit un essai au sujet de l’Intelligence Artificielle.
Le ressort dramatique de l’action :
Comme dans un mauvais polar, l’article débute par le crime qu’il s’agit d’expliquer :
« “Je ne suis pas humain. Je suis un robot. Ma mission est simple : je dois convaincre autant d’humains que possible de ne pas avoir peur de moi.” On pouvait lire ces lignes début septembre dans The Guardian, dans un article intitulé “Ce texte a été entièrement écrit par un robot. Humain, est-ce que vous êtes effrayé ?” Il y a ensuite eu le New York Times qui a publié, le 24 novembre, une enquête sur cette intelligence artificielle qui “sait coder, écrire un blog et débattre avec vous”. Et le Financial Times de s’interroger sur “l’IA qui semble se rapprocher de plus en plus de l’intelligence humaine”. »
Brrr, cela en ferait presque se dresser les cheveux sur la tête d’épouvante, mais soyons sérieux, il faut poser sa problématique :
« Depuis près de deux mois, un nouvel agent conversationnel fascine à la fois le monde scientifique et les médias. Il s’appelle GPT-3. Il semble capable d’écrire un poème dans la veine d’Oscar Wilde, d’imiter le style shakespearien pour une pièce de théâtre ou encore, de débattre avec un philosophe de la possibilité pour une machine de développer une conscience propre. »
Par « agent conversationnel », il faut voir en réalité un modèle de traitement automatique du langage naturel qui permet de doter ledit agent (un chatbot, si vous voulez) de la faculté de traiter les instructions/questions rentrées. « Traiter » signifie les « comprendre » (les guillemets sont importantes !), en vous proposant une réponse adaptée. L’IA est en effet capable de faire cela, comme toujours grâce à un modèle mathématique. En gros, votre ordinateur vous parle. Mais que dit-il, au fait ?
Open AI, la société qui commercialise ce modèle, semble avoir bien retenu la leçon d’un de ses cofondateurs (un certain Elon Musk, jamais très loin dès qu’il y a une caméra dans les parages) : faire le buzz, quitte à proférer des déclarations légèrement outrées. Mais là, nous assure France 24, ce GPT-3 (en français Transformateur Génératif Pré-entraîné n°3) n’a rien à voir avec son prédécesseur, le poussif GPT-2 en raison d’une soi-disante « universalité ». Cette machine à bla-bla serait, cette fois, capable d’écrire sur tout sujet, et France 24 cite des personnes qui prétendent qu’on ne fait quasiment pas la différence avec la prose d’un être humain.
Cette présentation naïve d’un nouveau « language model » vient avec la curieuse propriété d’être encore plus dangereuse que les articles béats dont on nous gratifie usuellement, car ces préoccupations d’universalité et de confusion avec un être humain renvoient en fait à deux mythes de l’IA, mais que ne connaissent pas forcément le grand public : l’IA forte et le Test de Turing.
« IA (forte), es-tu là ? »
L’IA actuelle achoppe en effet sur sa trop grande spécificité. Performante, la plupart du temps, pour traiter une micro-tâche pour laquelle elle a été pré-entraînée, elle ne peut guère s’adapter, tandis que sa grande sœur — qui n’a toujours pas montré le bout de son nez –, l’IA forte, serait justement l’intelligence artificielle capable de tout traiter, disons de tout appréhender, un peu comme nous. Si le nom de Turing s’est fait une place auprès du grand public, c’est essentiellement grâce à au film « Imitation Game », avec Benedict Cumberbatch en vedette. Son Test, en revanche, décrit dans un article du milieu du XXe, veut que l’on décerne le nom d’IA (forte) à un programme qui serait capable de semer la confusion entre lui-même et un être humain : « Qui m’écrit ? Un autre être de chair et de sang, mon frère, ou bien une boîte de conserve ? » Si vous vous trompez, c’est que…
Bon, là, on vous dit que vous ne feriez pas la différence avec les grands écrivains Britanniques. Non pas que les Français soient inimitables, mais, comme souvent, ces recherches en IA sont menées par des sociétés américaines et donc le modèle de langage proposé traite bien l’anglais (il y a toujours un travail d’adaptation pour les autres langues). Ici, le GPT-3 serait capable du lyrisme de Shakespeare (quand nous on peine déjà à le comprendre en langue vernaculaire…) et rivaliserait avec la poétique des grands causeurs (Wilde). [En aparté, il est assez étonnant de citer en exemple la poétique d’Oscar Wilde, souvent passée sous silence (à l’exception de La Ballade de la geôle de Reading), de l’aveu même de ses exégètes. Le Portrait de Dorian Gray ne serait-il pas IA-compatible ? En vérité il y a ici un indice technique : les modèles de langage ne sont efficaces (c’est-à-dire réalistes), en « lecture » ou en « écriture », que sur des textes courts.]
Et là le message, c’est quoi ? Pour ceux qui sont intrigués, je vous renvoie à mon ouvrage sur l’IA, paru tout récemment, et qui traite, dans un de ses chapitres, de ce sujet (Au cœur de l’intelligence artificielle, éd. De Boeck, disponible sur Amazon, Fnac ou en librairie). Au passage, rappelons qu’écrire, c’est créer, et non pas aligner des mots. Ainsi, de la composition d’œuvres, on est en réalité très loin : GPT-3 ne serait même pas capable d’écrire tout seul un article de France 24… Poursuivons.
De la salle de bal à l’arrière-cuisine :
A un moment, la raison revient et l’on vous explique enfin que la machine — au passage, un énorme ordinateur, 10 fois puissant comme le plus gros calculateur français (oui, je sais, on est encore à la traîne, mais nous, si on n’a pas d’argent, on a des idées…) — a appris son modèle grâce à des milliards de mots pour paramétrer des centaines de milliards de paramètres (et sur des réseaux de neurones, dès qu’ils sont un peu gros, le nombre de paramètres augmente très vite). Ainsi : « “Ces systèmes fonctionnent par association. Ils reçoivent des quantités considérables de données, essentiellement venues du Web, et sont capables de reproduire à partir de ces données une forme de discours qui peut paraître cohérent. Il s’agit d’une forme d’apprentissage par imitation”, résume Jean-Marc Alliot. » Enfin quelque chose de sérieux (voir aussi cet article sur le même sujet, plus complet et moins partial). Notez le mot « imitation », comme dans le film cité.
Et là on croit que c’est la fin de l’histoire et qu’on s’est un peu fait arnaquer avec cette IA qui était censée pousser les murs… Mais non, l’article est mieux fait que ça et maintenant, comme dans une mauvaise pièce de théâtre, on vous sort le retournement de situation dramatique en allant vous chercher un philosophe australien qui dit… qu’il a entendu dire de scientifiques… qu’ils étaient « ouverts à l’idée qu’une intelligence artificielle comme GPT-3 a une conscience propre ». C’est très subtil cette manière d’introduire le fantasme : une citation de citation anonyme, et donc mal endossée. Pour enfoncer le clou, France 24 va chercher quelqu’un d’autre qui, plus prudent, se dit qu’on est entre le perroquet et la conscience propre, histoire de ne pas trop se mouiller. Au dernier acte de ce mauvais boulevard, on se moque un peu de la bête (Pff, même pas capable de dire qu’il n’y avait pas de président des USA au Moyen Âge ; et en plus le truc est raciste : il vous sort des phrases pas franchement glorieuses sur des sujets qui mériteraient du discernement). C’est qu’en fait, de discernement, la machine n’en a pas.
Et comme tout bon article qui connaît son IA sur le bout des doigts, on vous achève avec le coup de la conscience : « GPT-3 n’a pas conscience de ses dérives racistes », mais on cherche quand même à vous induire en erreur, puisque l’on écrit après : « “Je suis une machine froide créée pour simuler des réponses comme si j’étais humain”, a-t-il déclaré ». Oui, il l’a « déclaré », comme un homme politique qui fait une déclaration à la télévision. Le trait d’esprit final — celui où l’on vous prend vraiment pour un(e) imbécile, mais avec cette verve épigrammatique que l’on affectionne tant — vient achever de semer le trouble : « Mais se rendre compte de ses propres faiblesses, n’est-ce pas déjà un début de prise de conscience ? » Ah ah ah ! Elle était bien bonne cette pièce.
A la sortie du théâtre, les plus dupes (mais il ne faut pas s’en moquer : on est toujours la dupe de quelqu’un) vont alors s’affoler et réclamer force régulation de ces IA décidément trop dangereuses, quand ce n’est pas pour défendre le droit à la personnalité juridique de ces grandes créatrices… Quant à nous, si l’on regardait un peu plus en détail ce dont il s’agit ? Car, je veux bien que l’on aille chercher des philosophes qui vous leurrent — à moins qu’ils ne se leurrent eux-mêmes — sur des problèmes de conscience, mais au final, y avait-il de quoi débiter toutes ces sornettes ?
Comment cela fonctionne-t-il, au fait ?
Pour certains, GPT-3 serait « ce cerveau sachant parfaitement écrire » (Le Monde, David Larousserie, 3 nov 2020). Eh oui, comme le modèle a été créé avec un réseau de neurones, on nous ressort le vieux truc du cerveau : à force, cela ne fait plus rire. En revanche, on a bien noté que GPT-3 n’était pas open source, ce qui renforce la nécessité d’un buzz publicitaire pour appâter le chaland, au-delà même d’éventuelles visées spéculatives. A comparer, toutefois, au large buzz du language model BERT au sein du monde scientifique… qui lui est antérieur !
La connaissance du code source permettrait d’évaluer ses limites, mais a priori l’idée en soi n’a pas changé depuis les premiers modèles de traitement du langage : prédiction d’une séquence à partir d’une question posée. Quant à la création du code d’un site web étant donnée sa description, c’est bien entendu une performance, mais il faut aussi voir qu’il s’agit d’une tâche définie à l’avance et qu’un apprentissage machine supervisé permet ce genre d’exploit. Le même principe est à l’œuvre pour les traductions automatiques. Pour autant, on reste loin de l’IA forte !
Dans le chapitre consacré au traitement du langage de mon livre, j’écrivais, pour ma part : « Qu’attendrait-on de plus “naturel”, de la part d’un ordinateur intelligent, qu’une conversation réelle ou, à tout le moins, une sorte de compréhension de notre parler ? » La manière de doter la machine de cette faculté peut reposer sur la création de modèles du langage. Le paradigme de l’IA d’aujourd’hui consiste à ne surtout plus chercher de règles ex ante (genre : rentrer des règles de grammaire), mais fournir à la machine des données (ici des textes, en très grande quantité) et la laisser trouver toute seule les associations. Enfin, toute seule, pas vraiment : on lui a donné des algorithmes que l’on pense pas trop mauvais pour faire cela. Au final, on obtient un modèle qui sait agencer les mots d’une façon convaincante, puisqu’il imite la structure apprise d’après les exemples rentrés.
Comme dans toute modélisation, il y a des limites, mais il ne faudrait pas négliger la prouesse technique que représente ce type de modèles. En revanche, ce que l’on peut sentir, c’est qu’avec ses 175 milliards de paramètres et le substrat informatique gigantesque qui lui est nécessaire, on est bien à la limite (actuelle) de l’exercice de modélisation.
Et après ?
Bien sûr, nous pouvons sincèrement croire que ce language model est bon, qu’il génère des textes mieux faits, mais détient-on le parangon de la compréhension du langage dans ce type même de modélisation ? L’énormité de ce modèle tendrait à prouver que non. Plus philosophiquement, on pourrait aussi se poser la question suivante : tout est-il modélisable ?
En conclusion, avant de se gargariser des performances de cette bête informatique qui remiserait presque le pauvre cerveau humain, souvenons-nous que ce dernier tient dans un volume raisonnable, ne consomme qu’une banane par jour et fait quand même beaucoup mieux que son imitateur de silicium !
