🎂 ChatGPT a 1 an 🎂

Dit artikel is ook te lezen in het Nederlands.

Cet article a été traduit du néerlandais. Les liens peuvent pointer vers des sources en néerlandais.

Le 30 novembre 2022, ChatGPT a Ă©tĂ© rĂ©vĂ©lĂ© au monde entier. Le chatbot polyvalent, qui peut traiter de presque tous les sujets, a immĂ©diatement conquis un large public. Les gĂ©nĂ©rateurs d’images, tels que DALL-E et Stable Diffusion, sont venus s’ajouter Ă  cela et, aujourd’hui, la situation est claire : L’IA gĂ©nĂ©rative a de beaux jours devant elle. Nous avons nous-mĂŞmes commencĂ© Ă  l’utiliser immĂ©diatement, et nous avons Ă©crit un article sur nos premières dĂ©couvertes 10 jours après le lancement.

1 an plus tard, l’impact de ChatGPT peut ĂŞtre qualifiĂ© de transformateur. L’Ă©cosystème autour de l’IA gĂ©nĂ©rative est en plein essor. Ce qui relevait du domaine des rĂŞveries irrĂ©alistes il y a 3 ans est soudain devenu rĂ©alisable et est en production aujourd’hui. D’innombrables start-ups voient le jour : le compteur du site web There’s an AI for that a depuis dĂ©passĂ© les 10 000, le mois de mars 2023 comptant Ă  lui seul 1209 nouvelles entreprises d’IA. Ă€ titre de comparaison, pour l’ensemble de l’annĂ©e 2021, il n’y a que 288 start-ups dans la mĂŞme base de donnĂ©es.

L’impact et la cĂ©lĂ©ritĂ© avec lesquels tout Ă©volue suscitent Ă©galement de la nervositĂ©. L’enseignement, par exemple, doit s’adapter dans la prĂ©cipitation Ă  une nouvelle rĂ©alitĂ©. L’Ă©tudiant moyen a dĂ©sormais facilement accès Ă  une technologie qui lui permet de rĂ©diger une dissertation entière en quelques secondes – et lorsque South Park y consacre un Ă©pisode, on sait que le phĂ©nomène prospère. Plus proche de nous, de nombreuses universitĂ©s ont publiĂ© des lignes directrices ou des conseils sur son utilisation (par ex. Louvain, Gand, Anvers). Celles-ci sont bien pensĂ©es et pourraient bien inspirer des lignes directrices similaires dans les entreprises et les gouvernements.

L’on observe Ă©galement de nombreuses expĂ©rimentations dans des contextes professionnels. “Aucune idĂ©e, mais demande Ă  ChatGPT” est devenu une dĂ©claration typique lorsqu’il y a un besoin de nouveaux inputs. Un sondage rĂ©alisĂ© par Nature a fait ressortir qu’un grand nombre de scientifiques avaient dĂ©jĂ  explorĂ© la technologie dans un cadre professionnel. Dans le monde universitaire, l’on se demande si le fait de soumettre d’Ă©pais dossiers de subvention a un sens, si la rĂ©daction de ceux-ci est automatisable. Nul doute que des observations similaires Ă©mergent Ă©galement dans d’autres secteurs.

DALL-E 2 est un générateur d'images à partir d'une description textuelle.
DALL-E 2 est un gĂ©nĂ©rateur d’images Ă  partir d’une description textuelle.

Petite rétrospective

OpenAI mène toujours la danse, et son propre blog donne un bon aperçu des dĂ©veloppements de l’annĂ©e Ă©coulĂ©e. Une timeline avec quelques moments clĂ©s :

  • 17 janvier 2023 : Microsoft lance le service Azure OpenAI, rendant les technologies OpenAI disponibles sur Azure,
  • 1 fĂ©vrier 2023 : Le service d’abonnement ChatGPT Plus offre un accès prioritaire Ă  ChatGPT (hautement sursollicitĂ©) pour 20 $/mois,
  • 1 mars 2023 : ChatGPT devient disponible via API,
  • 14 mars 2023 : Lancement de GPT-4 pour les utilisateurs de ChatGPT Plus,
  • 23 mars 2023 : Lancement des premiers plugins,
  • 13 juin 2023 : Une version mise Ă  jour de ChatGPT peut configurer et exĂ©cuter des appels vers des fonctions externes,
  • 20 juillet 2023 : Avec “custom instructions“, ChatGPT peut ĂŞtre configurĂ© pour toujours prendre en compte certains Ă©lĂ©ments,
  • 22 aoĂ»t 2023 : L’API Finetuning permet d’affiner l’output de ChatGPT,
  • 28 aoĂ»t 2023 : Lancement de ChatGPT Enterprise,
  • 25 septembre 2023 : Les utilisateurs peuvent utiliser la voix et les images dans les conversations,
  • 19 octobre 2023 : ChatGPT peut gĂ©nĂ©rer des images avec DALL-E 3,
  • 6 novembre 2023 : Introduction des GPT qui permettent aux amateurs de construire un ChatGPT personnalisĂ©  qui fouille des documents spĂ©cifiques, et des Assistants API destinĂ©e aux programmeurs pour rĂ©aliser une action similaire.

Ce dernier pas n’est pas reçu par tous avec enthousiasme : de nombreuses start-ups dans l’Ă©cosystème de l’IA gĂ©nĂ©rative viennent de construire le cĹ“ur de leur activitĂ© autour du concept de Retrieval-Augmented Generation (RAG), et OpenAI leur fait directement concurrence avec ses GPT personnalisĂ©s. (De mauvaises langues prĂ©tendent que cela aurait jouĂ© un rĂ´le dans le conflit du CEO deux semaines plus tard, mais ces rumeurs n’ont pas encore Ă©tĂ© prouvĂ©es).

Retrieval-Augmented Generation (RAG), avec langchain comme bibliothèque la plus populaire pour les dĂ©veloppeurs, est devenu au cours de l’annĂ©e Ă©coulĂ©e le moyen de faire en sorte que les Large Language Models s’accrochent Ă  des informations spĂ©cifiques, internes ou rĂ©centes. L’idĂ©e dĂ©coule du fait que, pendant ce temps, le prompt – c’est-Ă -dire la commande que l’on donne au modèle de langue – peut ĂŞtre si long qu’il y a de la place pour ajouter des pages entières d’informations supplĂ©mentaires. En enrichissant le prompt avec, par exemple, les rĂ©sultats d’une recherche ou les dernières nouvelles, un chatbot peut encore formuler des rĂ©ponses basĂ©es sur des informations rĂ©centes ou du contenu provenant de bases de donnĂ©es spĂ©cifiques, sans que le modèle de langue sous-jacent n’ait besoin d’ĂŞtre entraĂ®nĂ© sur ces bases.

Microsoft s’est empressĂ© de concrĂ©tiser cette idĂ©e. Avec Bing Chat, elle a lancĂ© une nouvelle interface de recherche conversationnelle, qui utilise les rĂ©sultats de Bing Search pour ses rĂ©ponses. L’avantage est que cette interface peut afficher de manière transparente les citations de sources ou les rĂ©fĂ©rences. Cependant, il convient de garder Ă  l’esprit que cela ne garantit pas l’exactitude des rĂ©ponses : les rĂ©sultats de la recherche peuvent toujours ne pas ĂŞtre pertinents, et les rĂ©sumĂ©s incorrects ou incomplets. Entre-temps, le produit fut un succès, et Microsoft a dĂ©cidĂ© de mettre le paquet : entre-temps, Bing Chat a Ă©tĂ© rebaptisĂ© Microsoft CoPilot, a Ă©tĂ© intĂ©grĂ© au navigateur Edge, et est Ă©galement disponible dans Windows 11 et Microsoft 365 (anciennement Office). Pour pouvoir exploiter cette fonctionnalitĂ©, il faut donner l’autorisation dans l’application de partager des documents ouverts ou des contenus de pages web avec le service CoPilot.

Aujourd'hui, Microsoft CoPilot est intégré dans le navigateur Edge et peut fournir des réponses aux questions sur des pages web ouvertes.
Aujourd’hui, Microsoft CoPilot est intĂ©grĂ© dans le navigateur Edge et peut fournir des rĂ©ponses aux questions sur des pages web ouvertes.

Microsoft fait Ă©galement figure de prĂ©curseur en matière d’images : Le Bing Image Creator offre un accès gratuit au gĂ©nĂ©rateur DALL-E 3 (pour l’instant), et ses rĂ©sultats sont intĂ©grĂ©s de manière transparente dans le nouveau Microsoft Designer.

Google a eu moins de succès avec son Ă©quivalent Bard. Le lancement a mal tournĂ© lorsque Bard a rĂ©pondu par un fait erronĂ© (une hallucination), ce qui a fait chuter le cours de l’action de Google. Par rapport Ă  OpenAI et Microsoft, Google semble moins prĂ©occupĂ© par l’intĂ©gration et l’expĂ©rience utilisateur, et se concentre plutĂ´t sur le fond thĂ©orique et l’approfondissement des possibilitĂ©s technologiques.

Meta, bien sĂ»r, ne veut pas ĂŞtre en reste et joue la carte du logiciel quasi open-source avec ses propres modèles de langue Llama, en mettant l’accent sur le terme “quasi”. La sociĂ©tĂ© semble se concentrer principalement sur les dĂ©veloppeurs individuels, pour lesquels Meta souhaite faciliter la rĂ©utilisation ou le rĂ©entraĂ®nement de leurs modèles de langue, comme l’a fait Stanford avec sa variante Alpaca, entre autres. La sociĂ©tĂ© vise Ă©galement le dĂ©ploiement sur du matĂ©riel standard, grâce Ă  la bibliothèque llama.cpp, qui permet de quantifier un modèle : arrondir intelligemment les paramètres d’un modèle entraĂ®nĂ© pour rĂ©duire l’empreinte mĂ©moire, au prix d’une perte de prĂ©cision faible mais acceptable. Une quantification de 32 bits Ă  8 bits fait qu’un modèle de 13 milliards de paramètres nĂ©cessite non pas 52 Go mais seulement 13 Go de mĂ©moire vive. Il s’intègre donc parfaitement dans la mĂ©moire des cartes graphiques actuelles dotĂ©es de 16 ou 24 Go de vRAM. Des outils intuitifs permettant d’hĂ©berger des modèles quantifiĂ©s sur votre propre ordinateur sont GPT4All , MLC, ollama ou LMStudio.

Plusieurs entreprises plus petites sont Ă©galement dans la course, dĂ©veloppant leurs propres modèles de langue qui pourraient servir de backend pour des services de type ChatGPT ou des applications RAG. Il convient de mentionner Anthropic, crĂ©Ă©e par d’anciens employĂ©s d’OpenAI, qui met particulièrement l’accent sur la transparence et la sĂ©curitĂ© avec ses modèles Claude. De son cĂ´tĂ©, l’europĂ©enne Mistral a dĂ©marrĂ© sur les chapeaux de roues. Avec d’anciens employĂ©s de Meta Ă  sa tĂŞte, elle exploite un modèle vĂ©ritablement open-source et est donc principalement en concurrence avec Meta. Pour la zone linguistique nĂ©erlandaise, des projets sont en cours pour dĂ©velopper, par l’intermĂ©diaire de l’organisation de recherche TNO, un GPT-NL indĂ©pendant qui devrait Ă©galement constituer une alternative aux grands acteurs amĂ©ricains, en mettant l’accent sur le respect des lois europĂ©ennes.

Petite prospective

Bon nombre d’entreprises doivent encore s’atteler Ă  l’adaptation de leurs propres modèles d’entreprise Ă  l’essor de l’IA. Nous n’en sommes toutefois qu’aux premiers stades d’une pĂ©riode de forte croissance pour l’IA, et il est difficile de prĂ©voir ce que les prochaines annĂ©es nous rĂ©servent. Rester Ă  l’affĂ»t des Ă©volutions est une première Ă©tape. The Batch de DeepLearning.AI est une newsletter excellente qui suit l’Ă©volution de la situation et qui fournit chaque semaine un rĂ©sumĂ© concis des Ă©vĂ©nements clĂ©s de l’industrie. Ceux qui cherchent Ă  Ă©largir et Ă  approfondir leurs connaissances trouveront Ă©galement une solide offre de cours sur le mĂŞme site web, comme celui-ci : Generative AI for Everyone. Microsoft propose un cours Generative AI for Beginners (IA gĂ©nĂ©rative pour les dĂ©butants) destinĂ© aux dĂ©veloppeurs. Le site finlandais Elements Of AI propose l’un des cours gratuits les plus accessibles au grand public, et il en existe bien d’autres.

Aujourd’hui dĂ©jĂ , les chefs d’entreprise et les dirigeants sont confrontĂ©s Ă  tous ces nouveaux dĂ©veloppements dans les entreprises ou dans l’administration, et veulent formuler une rĂ©ponse – ou au moins Ă©laborer un code de conduite. Le moniteur de gestion du Knowledge Centre Data and Society rassemble des exemples nationaux et internationaux qui peuvent servir d’inspiration Ă  ceux qui ne veulent pas rĂ©inventer l’eau chaude. Le AI Standards Hub du Royaume-Uni rassemble des publications pertinentes sur les normes industrielles liĂ©es Ă  l’IA. Ă€ un niveau international plus abstrait, l’OCDE, entre autres, exerce un monitoring actif. L’Ă©volution rapide du terrain ne facilite certainement pas le travail lĂ©gislatif. Au niveau europĂ©en, le IA Act annoncĂ© est reportĂ©. Cela n’a pas empĂŞchĂ© Stanford d’Ă©valuer dĂ©jĂ  les principaux acteurs existants sur la base du projet de texte qui nous est soumis.

En attendant, rien n’empĂŞche une entreprise ou un gouvernement de se lancer et d’expĂ©rimenter la technologie. Toutefois, il est crucial de rester prudent et de ne pas pas perdre le sens commun. ChatGPT n’est pas une solution miracle. Aucun mĂ©canisme de sĂ©curitĂ© ne peut garantir qu’un modèle de langue n’aura pas d’hallucinations ou ne prĂ©sentera pas des textes complètement inventĂ©s comme des faits. Bien que les datasets d’entraĂ®nement de nombreux modèles de langue soient secrets, nous savons qu’ils sont si volumineux qu’il est impossible d’y effectuer une sĂ©lection et un filtrage prĂ©cis. Les LLM sont aujourd’hui des boĂ®tes noires ; il est impossible de retracer l’origine d’un choix de mots particulier dans une rĂ©ponse. Il est donc impossible, en toute logique, de crĂ©er des applications critiques aveuglĂ©ment sur la base de ces systèmes. De toute Ă©vidence, ce serait une mauvaise idĂ©e de faire traiter des donnĂ©es mĂ©dicales, sans aucune supervision, par un modèle de langue partiellement formĂ© sur des textes piochĂ©s au hasard sur le net par des thĂ©oriciens du complot, des antivax, des influenceurs d’Instagram, des homĂ©opathes et d’autres charlatans.

Illustration gĂ©nĂ©rĂ©e par Microsoft Image Creator (DALL-E 3) sur la base du prompt : “An AI is helping a programmer solve a difficult problem in the IDE. Focus on the computer screen containing flawed code. We only see the back of the people.”

En parlant de charlatans, on voit rĂ©gulièrement apparaĂ®tre des prophètes de malheur qui, pour attirer l’attention, font des dĂ©clarations de plus en plus grotesques, allant jusqu’Ă  prĂ©dire l’extinction de I’HumanitĂ©. (L’inverse existe aussi : ceux qui croient que l’utopie est proche). La disproportion de ces dĂ©clarations tĂ©moigne d’un manque de connaissances et d’un manque de contact avec la rĂ©alitĂ©. Après tout, malgrĂ© tous les progrès rĂ©alisĂ©s, nous sommes encore bien loin des robots capables de repasser vos vĂŞtements. Des affirmations farfelues dĂ©tournent la discussion des problèmes qui se posent aujourd’hui dans le monde rĂ©el : les abus tels que les “deepfakes“, l’Ă©largissement de la fracture numĂ©rique, le manque de possibilitĂ©s de contester les dĂ©cisions automatiques, l’utilisation de donnĂ©es sans autorisation ni mention de la source, … autant de questions qui requièrent une attention soutenue et pour lesquelles l’Europe joue un rĂ´le actif de pionnier. Ces Ă©lĂ©ments ne doivent pas ĂŞtre des facteurs bloquants, puisque mĂŞme en gardant la tĂŞte sur les Ă©paules, ce ne sont pas les opportunitĂ©s qui manquent.

Dans un rĂ©cent Ă©ditorial, Bill Gates a Ă©tĂ© acclamĂ© pour sa vision de l’Ă©volution dans un avenir proche. Selon cette vision, les chatbots Ă©volueront en “agents“, c’est-Ă -dire qu’ils disposeront d’une autonomie (limitĂ©e) pour prendre des mesures, Ă©ventuellement supervisĂ©es. LĂ  oĂą les co-Pilots font encore partie d’une application, ceux-ci deviendront Ă©galement plus gĂ©nĂ©riques, avec l’intention que les futurs agents puissent fonctionner Ă  travers les applications, comme les assistants personnels. En effet, il reste encore beaucoup de travail Ă  accomplir pour y parvenir : des protocoles qui permettent aux applications de mieux communiquer entre elles, des moyens d’Ă©changer des donnĂ©es en toute sĂ©curitĂ© tout en prĂ©servant la vie privĂ©e, …

Enfin, la dĂ©pendance Ă  l’Ă©gard de modèles Ă©normes et non transparents (GPT-3, GPT-4) avec un service en cloud externe reste une pilule difficile Ă  avaler lorsque des donnĂ©es internes ou sensibles sont susceptibles d’ĂŞtre traitĂ©es. Il est impossible de prĂ©voir quelles donnĂ©es un utilisateur typique pourrait communiquer Ă  un chatbot, et avec les plugins de type CoPilot, il est souvent difficile de retrouver les donnĂ©es que le plugin lit et transmet en arrière-plan. Toutefois, le RGPD impose des exigences strictes et concrètes. Tout le monde ne considère pas qu’une promesse ou mĂŞme un accord contractuel stipulant que les donnĂ©es reçues ne seront pas stockĂ©es ou rĂ©utilisĂ©es soit suffisant pour avoir soudainement une confiance aveugle.

L’alternative logique consiste Ă  dĂ©ployer localement des modèles plus petits. Cependant, la qualitĂ© de leur output est par consĂ©quent plus faible, ce qui est dĂ©cevant si les attentes Ă©levĂ©es crĂ©Ă©es par ChatGPT sont le point de rĂ©fĂ©rence. Les modèles plus petits ne disposent pas du multilinguisme fluide de ChatGPT et travaillent avec des prompts beaucoup plus compacts, ce qui complique l’Ă©laboration d’applications RAG. Une recherche diligente et multidirectionnelle est en cours pour combler cette lacune. On voit des innovations permettant d’affiner (spĂ©cialiser) des modèles plus petits pour une tâche spĂ©cifique, de façon efficace et avec moins de donnĂ©es. Le concept de distillation – compression d’un modèle – semble Ă©galement prometteur. Il semble Ă©galement prĂ©fĂ©rable de s’entraĂ®ner sur peu de donnĂ©es correctes mais de qualitĂ©, plutĂ´t que sur un grand nombre de donnĂ©es dĂ©sordonnĂ©es et potentiellement erronĂ©es. En outre, pour toute application, il reste Ă  trouver les bons Ă©quilibres en termes de choix de modèle, l’ingĂ©nierie du prompt, le rĂ©glage fin et le RAG.

Le terrain de jeu est bel et bien ouvert, l’innovation ne manque pas, et nous pouvons certainement nous attendre Ă  de nouvelles amĂ©liorations dans un avenir proche. Une annĂ©e des plus intĂ©ressantes nous attend sans aucun doute !

______________________

Cette contribution a été soumise par Joachim Ganseman, consultant IT chez Smals Research. Elle a été rédigée en son nom propre et ne prend pas position au nom de Smals.

This entry was posted in [FR], Artificial Intelligence, E-gov, Productivity, Social and tagged , , , , by Joachim Ganseman. Bookmark the permalink.
avatar

About Joachim Ganseman

Joachim Ganseman is informaticus en heeft een verleden als doctoraatsstudent aan de Universiteit Antwerpen, met zijsprongen naar Queen Mary University in London en Stanford University, waarbij hij focuste op digitale signaalverwerking en analyse van audio. Sinds 2018 werkt hij bij Smals Research waar hij zich concentreert op AI-gerelateerde onderwerpen - o.a. machine learning, natural language processing, data science - en hun mogelijke toepassingen in overheidscontext. Naast het werk is hij een uitstekend pianist, en als medestichter en -organisator van de Belgische Informatica-olympiade ontving hij in 2016 de jaarprijs wetenschapscommunicatie van de Koninklijke Vlaamse Academie voor Wetenschappen van België.

Leave a Reply

Your email address will not be published. Required fields are marked *