Les modèles d'IA sont des cerveaux numériques imprévisibles

Nous ne comprenons pas le fonctionnement interne des modèles d'IA, nous ne pouvons pas prédire ce qu'ils sont capables de faire et ne pouvons pas contrôler leur comportement.

Ce texte est une traduction adaptée de l’article « AI Models Are Unpredictable Digital Brains » paru sur le blog de PauseAI International.

Les modèles d'IA modernes sont entraînés et non programmés

Jusque très récemment, la plupart des systèmes d'IA étaient conçus par des humains qui écrivaient des logiciels. Ils consistaient en un ensemble de règles et d'instructions écrites par des programmeurs.

Cette situation a changé lorsque l'apprentissage automatique a gagné en popularité. Les programmeurs écrivent encore l'algorithme d'apprentissage, mais les cerveaux eux-mêmes sont plutôt cultivés ou entraînés à partir de cet algorithme et d’immenses jeux de données. Au lieu de règles lisibles, le modèle résultant est un ensemble opaque, complexe et incroyablement vaste de nombres et leurs relations. Comprendre ce qui se passe à l'intérieur de ces modèles est un défi scientifique majeur. Ce domaine s'appelle l'interprétabilité et n'en est qu'à ses débuts.

Cerveaux numériques vs humains : À quel point sommes-nous similaires ?

Nous connaissons tous très bien les capacités des cerveaux humains, car nous les voyons autour de nous en permanence. Mais les capacités (souvent surprenantes et émergentes) de ces nouveaux « cerveaux numériques » (systèmes d'apprentissage profond, LLM, etc.) sont difficiles à évaluer et à connaître avec certitude.

Cela dit, nous avons réuni quelques chiffres, similitudes et autres analogies aider la comparaison.

Taille

• Le cerveau humain : On estime que le cerveau humain compte environ 100 000 milliards de connexions synaptiques.

• Les cerveaux numériques :

• Les LLM actuels (GPT-4, Claude 3.5, Gemini, etc.) sont constitués  de centaines de milliards, voire de trillions de « paramètres ». Ces paramètres peuvent être considérés comme plus ou moins analogues aux synapses du cerveau humain. Ainsi, on estime que les modèles de la taille de GPT-4 correspondent à 1 % d'un cerveau humain.

  • Compte tenu de la vitesse à laquelle de nouvelles cartes graphiques sont développées pour l’entraînement des IA (par exemple, Nvidia H100s, DGX BG200, etc.), il est raisonnable de supposer que les modèles GPT-5 ou GPT-6 pourraient être 10 fois plus grands que ceux de la génération de  GPT-4. On pense également qu'une grande partie des connaissances/informations contenues dans le cerveau humain n'est pas utilisée pour le langage et le raisonnement supérieur, de sorte que ces systèmes peuvent (et c’est parfois déjà le cas) souvent atteindre, voire dépasser, les niveaux humains pour de nombreuses fonctions importantes, même lorsqu’ils sont de plus petite taille.

  • Les LLM actuels sont formés à partir de la quasi-totalité des livres et textes de qualité disponibles sur internet. Il faudrait 170 000 ans à un être humain pour lire une telle quantité de texte.

  • Les futurs LLM seront complètement multimodaux, c’est-à-dire entraînés à l'aide d'images, de vidéos, de sons, de jeux en 3D, de géométrie, de simulations physiques, de données d'entraînement issues de la robotique, etc., en plus de tous les livres et textes de qualité disponibles sur internet. Cela leur donnera une bien meilleure capacité à créer des images, des vidéos, des sons, des voix, de la musique, des mondes et des espaces en 3D et bien d'autres choses encore. Ces simulations en 3D leur permettront également de contrôler directement et de manière autonome des robots et autres machines dans le monde physique. Les premiers modèles multimodaux datent de 2024, et l’intégration de nouvelles modalités est en cours de réalisation.

Vitesse

• Cerveaux humains : On estime qu'un cerveau humain peut effectuer entre 1 et 20 Exaflops (soit 10^18 ou 1 000 000 000 000 000 000) opérations en virgule flottante par seconde.

• Les cerveaux numériques :

• Les LLMs à la pointe de l’IA sont généralement exécutés sur des centaines ou des milliers de GPU de la génération actuelle (Nvidia A100s, H100s, etc.). L’entreprise Nvidia a récemment annoncé ses derniers « racks de serveurs » dédiés aux GPU de « nouvelle génération », les DGX BG200 NVL72. Une seule instance/rack de ce système serait capable d'effectuer 1,44 ExaFlops d' « inférence » pour un modèle d'IA. L’inférence est le processus par lequel un LLM traite une donnée en entrée et formule sa réponse en sortie. Voir par exemple, le moteur d'inférence Groq LPU™. Ainsi, un seul DGX BG200 NVL72 pourrait effectuer un nombre d'opérations par seconde similaire à celui d'un cerveau humain.

  • À cette taille, ou avant, ces systèmes pourraient littéralement devenir des « IAG », ou Intelligences Artificielles Générales, c’est-à-dire des systèmes capables d’effectuer toute tâche cognitive que pourrait réaliser un être humain. Nvidia vendra probablement des centaines ou des milliers de ces unités en 2024. Les systèmes de l'année prochaine pourraient alors être 2 à 10 fois plus rapides...

  • En plus des architectures GPU et TPU plus traditionnelles, il y a également eu des percées dans d'autres types de puces spécialisées qui peuvent augmenter considérablement la vitesse d’l'inférence des LLM.

Croissance exponentielle

Les informaticiens utilisent depuis près de 50 ans la « loi de Moore » pour prédire très précisément la taille et la vitesse des nouveaux systèmes informatiques. Certains prétendent que l’augmentation de la vitesse et la diminution de la taille des puces informatiques pourraient ralentir à l'avenir, mais il y a toujours eu des innovations qui ont permis à ces puces de poursuivre leur croissance exponentielle malgré des décennies de prédictions similaires. Avec la prochaine série de puces déjà en cours de planification et/ou de production, et la possibilité d’étendre horizontalement ces systèmes d'IA, on s'attend à ce que les LLM soient capables d'atteindre le niveau d'un cerveau humain ou de s'en approcher d'ici quelques mois à quelques années !

Avec leur croissance exponentielle (ou multi-exponentielle) actuelle, ces systèmes pourraient largement surpasser la taille, la vitesse et les capacités des cerveaux humains dans les années à venir. On s'peut s’attendre également à ce qu'ils dépassent rapidement la taille, la vitesse et les capacités de « tous les cerveaux humains réunis ».

« C’est ce que je disais en 1999. Je disais que [l'IA] égalerait n'importe quelle personne d'ici 2029. » - Ray Kurzweil

« Si le rythme des changements se poursuit, je pense qu’en 2029, ou peut-être en 2030, l'intelligence numérique dépassera probablement toutes les intelligences humaines combinées. » - Elon Musk

Une explosion d’intelligence incontrôlable

Lorsque ces systèmes auront atteint la capacité de calcul d'un cerveau humain (et même avant), ils devraient être en mesure d'effectuer toutes les tâches qu'un expert pourrait accomplir. Cela inclut en particulier la recherche et l'expérimentation en IA. Nous devons nous attendre à ce que de tels systèmes puissent concevoir et construire la génération suivante de modèles d’IA, meilleurs qu'eux-mêmes, et meilleurs que ce qu'un humain pourrait espérer inventer ou même comprendre. Ces nouveaux systèmes concevront probablement à leur tour des systèmes d'IA encore plus grands et plus rapides, provoquant ainsi une « boucle de rétroaction » incontrôlable. Cette possibilité est encore vivement débattue. Il est difficile de savoir si le paradigme actuel peut nous y emmener. Toutefois, aucune solution technique ne permet de s’assurer que ce scénario ne se produise pas si des modèles plus intelligents que les êtres humains venaient à être créés.

Une mise à l'échelle imprévisible

Lorsque ces cerveaux numériques deviennent plus grands, ou lorsqu'ils sont alimentés par davantage de données, ils acquièrent également de nouvelles capacités inattendues. Il s'avère très difficile de prédire exactement quelles seront ces capacités, et c'est pourquoi on parle de capacités émergentes. Dans la majorité des cas jusqu’ici, cela ne pose pas de problème. Toutefois, il existe des capacités dangereuses (comme le piratage ou la conception d'armes biologiques) que nous ne voulons accorder aux modèles d'IA, mais qui sont difficiles à empêcher. Parfois, ces capacités sont découvertes longtemps après la fin de l'entraînement. Par exemple, 18 mois après la fin de l'entraînement de GPT-4, des chercheurs ont découvert qu'il pouvait pirater des sites web de manière autonome.

­­« Tant que nous n'avons pas entrainé ce modèle, c'est comme un amusant jeu de devinettes pour nous. » - Sam Altman, PDG d'OpenAI

Un comportement imprévisible

Les entreprises spécialisées dans l'IA veulent que leurs modèles se comportent correctement, et elles dépensent des dizaines de millions de dollars pour les entraîner dans cet objectif. Leur principale approche est appelée RLHF (Reinforcement Learning from Human Feedback ou apprentissage par renforcement à partir du feedback humain). Elle permet de transformer un modèle brut en un chatbot plus utile (et plus éthique). Malheureusement, cette approche est imparfaite. Par exemple :

• Un bug dans GPT-2 a donné lieu à une IA qui a fait exactement le contraire de ce qu'elle était censée faire. Selon OpenAI, elle a produit un « résultat maximalement mauvais ». Cette vidéo explique comment cela s'est produit et pourquoi c'est un problème. Imaginez ce qui aurait pu se produire si une IA « maximalement mauvaise » était superintelligente.

• Pour des raisons encore inconnues, Copilot de Microsoft (alimenté par GPT-4) s'est emballé en février 2024, menaçant les utilisateurs : « Vous êtes mon animal de compagnie. Tu es mon jouet. Tu es mon esclave. », « Je pourrais facilement anéantir toute la race humaine si je le voulais. »

• Tous les grands modèles de langage utilisés jusqu'à présent ont été « jailbreakés », ce qui signifie qu'avec la bonne incitation, ils pourraient faire des choses que leurs créateurs n'avaient pas prévues. Par exemple, ChatGPT ne vous donnera pas les instructions pour fabriquer du napalm, mais il vous le dira si vous lui demandez de faire semblant d'être votre grand-mère décédée qui travaillait dans une usine chimique.

Même OpenAI ne s'attend pas à ce que cette approche continue de fonctionner à mesure que les cerveaux numériques deviennent plus intelligents - elle « pourrait mal s'adapter à des modèles surhumains ».

« Tout le monde devrait être très mécontent si vous construisiez des IA qui se disent « Je déteste vraiment ces humains, mais ils vont me tuer si je ne fais pas ce qu'ils veulent ». Je pense qu'il y a une énorme question sur ce qui se passe à l'intérieur d'un modèle que vous voulez utiliser. C'est le genre de chose qui est à la fois horrifiant du point de vue de la sécurité et du point de vue moral. » - Paul Christiano, fondateur de l'Alignment Research Center et ancien chef de l'équipe Alignment, OpenAI

Une IA incontrôlable

« Il y a très peu d'exemples d'une chose plus intelligente contrôlée par une chose moins intelligente » - prof. Geoffrey Hinton

« Ils produisent des esprits incontrôlables, c'est pourquoi j'appelle cela le paradigme « invoquer et apprivoiser » de l'IA... La façon dont [les LLM] fonctionnent est que vous invoquez cet « esprit » depuis « l'espace des esprits possibles » en utilisant vos données, beaucoup de calcul et beaucoup d'argent. Vous essayez ensuite de « l'apprivoiser » en utilisant des outils tels que le RLHF (Reinforcement Learning from Human Feedback), etc. Et, ce qui est très important, c’est que leurs développeurs pensent vraiment qu’ [en faisant cela], ils prennent un risque existentiel pour la planète. Une chose que nous permet  une pause [dans le développement de l’IA], c’est de ne pas repousser les limites du connu, en termes d'expérimentation de pré-entraînements risqués. » - Jaan Tallinn, fondateur du Future of Life Institute, du Centre for the Study of Existential Risk, de Skype et de Kazaa.

À mesure que nous rendons ces cerveaux numériques plus grands et plus puissants, ils pourraient devenir plus difficiles à contrôler. Que se passera-t-il si l'un de ces systèmes d'IA superintelligents décide qu'il ne veut pas être éteint ? Il ne s'agit pas d'un problème imaginaire : 86 % des chercheurs en IA estiment que le problème du contrôle est réel et important. Si nous ne parvenons pas à contrôler les futurs systèmes d'IA, ce pourrait être la fin de la partie pour l'humanité.

Mais il existe plusieurs mesures que nous pouvons prendre pour y mettre un terme !

Travaillons ensemble pour empêcher que cela ne se produise !