E.S News l'actualité du numérique
Dans l’arène bouillonnante de l’intelligence artificielle (IA), la course à la création de modèles linguistiques toujours plus performants ne cesse de surprendre. Un projet ambitieux baptisé Beyond the Imitation Game benchmark (BIG-bench) s’est concentré sur cette course, impliquant 450 chercheurs dans l’élaboration de 204 tâches destinées à pousser les limites des grands modèles de langage. Ces modèles, qui donnent vie à des chatbots tels que ChatGPT, ont montré des performances variables, oscillant entre améliorations prévisibles et soudains bonds en avant. Un phénomène que des chercheurs ont décrit comme un comportement « révolutionnaire », rappelant les transitions de phase observées en physique.
**Les modèles linguistiques larges (LLM)**, tels que les fameux GPT-2, GPT-3.5, et le très récent GPT-4, ont démontré une capacité à traiter et à comprendre d’énormes quantités de texte en établissant des connexions entre les mots. La capacité de ces modèles à accomplir des tâches complexes, voire inattendues, réside dans leur nombre de paramètres, essentiellement les diverses manières dont les mots peuvent être interconnectés. GPT-3.5, par exemple, utilise 350 milliards de paramètres, tandis que le nouvel arrivant GPT-4 compte pas moins de 1,75 billion de paramètres.
L’augmentation des performances avec la taille des modèles paraît logique, mais certains comportements ont défié les attentes. On a observé des paliers de performance presque nuls pendant un temps, suivis d’une amélioration spectaculaire, un phénomène qui a intrigué la communauté scientifique. Certains chercheurs ont vu dans ces « sauts » de capacité des signes d’émergence, ces comportements collectifs qui surgissent dans un système atteignant un haut niveau de complexité.
Pourtant, une équipe de l’Université de Stanford propose une vision différente de ces phénomènes. Selon eux, l’apparente imprévisibilité de ces bonds en capacité serait moins une question d’émergence soudaine que de la manière dont les performances sont mesurées. Sanmi Koyejo, auteur principal d’une étude sur le sujet, avance que les prétendues « transitions de phase » dans les capacités des LLM pourraient être bien plus prévisibles qu’on ne le croit, attribuant la confusion à la méthodologie de mesure plutôt qu’aux vraies capacités des modèles.
Cette vision contraste avec l’idée d’un progrès fluide et linéaire en IA. Elle suggère que notre compréhension des bonds qualitatifs dans les capacités des LLM dépend étroitement de comment nous choisissons de les évaluer et de les comprendre. Tandis que les grands modèles linguistiques continuent de progresser, offrant des améliorations impressionnantes en efficacité et performance, l’interprétation de ces avancées reste sujet à débat. Les conclusions de l’équipe de Stanford remettent en question la notion d’émergence comme mirage, proposant une perspective révolutionnaire sur la manière dont nous percevons le progrès dans le domaine en constante évolution de l’IA.
- xAI, concurrent d’OpenAI d’Elon Musk, finalise une levée de fonds de 6 milliards de dollars, X, son réseau social, figure déjà parmi ses investisseurs. - avril 26, 2024
- Poe lance un modèle de revenus basé sur le prix par message pour les développeurs de robots IA - avril 10, 2024
- Le nouveau plan stratégique de Meta sur l’IA deepfake : plus de marquages, moins de suppressions - avril 6, 2024
