Ce qui épate certains, et effraie d’autres, c’est comment ChatGPT semble comprendre nos questions et nous fournir des réponses pertinentes (« intelligentes »). Pourtant il ne faut pas longtemps pour faire l’expérience de ses « hallucinations » : on lui demande un truc sur un sujet qu’on connait bien, il nous délivre une réponse parfaitement structurée, dans un français parfait, très sûr de lui. Une réponse parfaite… ment fausse. Inventée.
Dans son article pour The Conversation1 « De Cambridge Analytica à ChatGPT, comprendre comment l’IA donne un sens aux mots »2 le chercheur Frédéric Alexandre explique mieux que je ne saurais le faire quel est ce mécanisme et comment il est inhérent à la façon dont les grands modèles de langage (petit nom : LLM) calculent nos questions (« prompts ») et construisent leurs réponses.
Résumé garanti sans maths.
L’article expose comment les LLM peuvent « comprendre » ce que les mots veulent dire et comment ils sont liés entre eux. Il prend l’exemple : si je dis “le chat dort sur son coussin parce qu’il est fatigué”, nous, on sait évidemment que “il” veut dire “chat” et pas “coussin”. C’est facile pour un humain, mais difficile pour une machine.
Pour entrainer les machines à comprendre les mots (je laisse tomber les guillemets mais vous aurez compris l’idée), les éleveurs de robots emploient une technique appelée « plongement lexical » : au lieu d’utiliser un mot comme un symbole, comme “chat”, on utilise une liste de nombres, comme [0.2, 0.5, 0.7, …]. Ces nombres sont calculés en regardant beaucoup de textes et en voyant à quelle fréquence un mot apparaît dans différents contextes ou avec différents mots. Par exemple, le mot “chat” peut apparaître plus souvent dans des textes sur les animaux que dans des textes sur les avions. Donc les nombres pour “chat” seront différents des nombres pour “avion”.
Cette technique est très puissante. Elle peut faire que des mots qui ont des sens similaires ont des nombres similaires. Ainsi, on peut comparer les mots et voir à quel point ils sont proches ou éloignés les uns des autres. Par exemple, le mot “chien” peut avoir des nombres qui sont proches du mot “chat”, mais loin du mot “voiture”. Cela veut dire que “chien” et “chat” sont plus liés que “chien” et “voiture”.
C’est cette technique qui est utilisée par les machines comme ChatGPT, qui semble s’exprimer comme un humain. Mais cette même technique est utilisée par Cambridge Analytica, qui utilise les données des gens pour influencer leurs opinions et leurs votes. L’affaire avait fait grand bruit à propos de l’élection de Donald Trump et du référendum sur le Brexit, où cette agence d’influence avait utilisé des centaines de milliers d’interactions sur les réseaux sociaux pour ensuite influencer les indécis…
Aussi puissante soit-elle, la technique du plongement lexical n’est pas suffisante pour faire que les machines comprennent vraiment les mots et leurs significations, parce que les mots ne sont pas juste des nombres. Les mots sont liés au monde réel et à nos émotions et nos expériences.
Tant que l’on aura pas trouvé de meilleures façons de faire apprendre aux machines à partir du monde réel et pas seulement à partir des textes, les intelligences artificielles génératives resteront… insensées.
Tant que vous êtes là…
ChatGPT — l’intelligence artificielle dont tout le monde parle et qui suscite bien des craintes, permet pourtant de créer rapidement des applications interactives bien utiles, sans code, à partir de textes simples. Expert en innovation et en IA, je peux vous accompagner dans vos projets ChatGPT. Je peux vous aider à élaborer une stratégie, un design de produit, un prototype no-code, ou à organiser une formation.
Suite à un report de projet, je suis disponible immédiatement et jusqu’à fin juillet.
Si vous êtes intéressé(e), cliquez ici pour bloquer un créneau dans mon agenda 🗓️ et discutons-en 📱 sans attendre.
Image d’entête : robot Pinocchio, menteur mytho mais pas méchant, image générée par Bing (Dall-E)
je vous recommande cette source d’information aux sources et à l’éthique indiscutables ↩
« De Cambridge Analytica à ChatGPT, comprendre comment l’IA donne un sens aux mots » de Frédéric Alexandre, directeur de recherche en neurosciences computationnelles, Université de Bordeaux, Inria ↩