Pourquoi une superintelligence pourrait apparaître plus tôt que prévu
L'accélération exponentielle des progrès en IA et ses implications alarmantes
Les modèles d'IA les plus récents sont déjà surhumains dans de nombreux domaines, mais heureusement pas dans tous. Si une superintelligence - une IA dont les capacités dépassent largement celles des humains dans tous les domaines - apparaît avant que nous ayons résolu le problème de l'alignement, nous risquons l'extinction humaine. Avoir une idée approximative du moment de l'émergence de la superintelligence est essentiel pour éviter d'être pris au dépourvu. Si nos prédictions sont trop lointaines, nous pourrions ne pas être prêts à temps.
A quel point en sommes-nous ? Quand atteindrons-nous le stade de la superintelligence ? Cela pourrait arriver bien plus tôt que la plupart ne le pensent.
Croissance exponentielle composée
Les modèles d'IA ont besoin d'algorithmes, de données et de processeurs. Chacun de ces composants s'améliore rapidement grâce aux investissements colossaux dans le domaine de l'IA. La combinaison des améliorations apportées à chaque élément entraîne une croissance exponentielle des facultés des systèmes d'IA.
Plus de processeurs.
ChatGPT 3 a été entraîné sur 10 000 processeurs spécialisés. Meta a annoncé l’acquisition de 600 000 processeurs de nouvelle génération pour entraîner leurs prochains modèles d'IA cette année.
Des processeurs plus rapides.
Chaque année, les processeurs deviennent plus rapides grâce à de nouvelles architectures et innovations en lithographie. Les processeurs utilisés par Meta sont 10 fois plus rapides que ceux utilisés pour ChatGPT. On voit aussi apparaître du matériel hautement spécialisé comme les processeurs Groq, qui sont 13 fois plus rapides que la concurrence. À plus long terme, le recours aux architectures ternaires ou aux processeurs photoniques pourrait permettre d'augmenter encore la vitesse des processeurs. Sans compter que Nvidia utilise déjà l’IA pour améliorer la performance de ses processeurs.
Plus de données.
GPT-3 a été entraîné sur 45 terabytes de texte. GPT-4 en a utilisé environ 20 fois plus. Les entreprises d'IA commencent à utiliser des données vidéo, audio et même à générer des données synthétiques pour entraîner ces modèles.
De meilleures données.
L'article scientifique « Textbooks Are All You Need » de l'université de Cornell, a démontré que l'utilisation de données synthétiques de haute qualité peut améliorer considérablement les performances du modèle, même avec beaucoup moins de données et de calculs.
De meilleurs algorithmes.
L'architecture Transformer a révolutionné les modèles de langage actuels. De nouvelles architectures peuvent permettre des bonds similaires en capacités. Le modèle Mamba, par exemple, offre une vitesse d'exécution 5 fois plus rapide.
De meilleurs environnements d'exécution.
Les agents autonomes, la génération augmentée par récupération ou encore des prompts ingénieux (comme le raisonnement en « chain of thought ») peuvent avoir un impact significatif sur les capacités de ces modèles.
Il est probable que le simple fait d’augmenter la taille de ces modèles les conduisent déjà à développer des capacités dangereuses dans deux ou trois ans. Mais avec tous les facteurs précédemment évoqués, cela pourrait arriver encore plus rapidement.
En 2023, les modèles ont atteint un niveau de performance humaine dans de nombreux domaines
En 2022, les chercheurs en IA pensaient qu'il faudrait encore 17 ans avant qu’une IA puisse écrire un best-seller du New York Times. Un an plus tard, Shen Yang, un professeur chinois, a remporté un concours littéraire avec un livre écrit par une IA.
Sur Metaculus (site de prédictions collectives en ligne), la prédiction de la communauté pour l'apparition d'une Superintelligence était fixée à 2057 il y a seulement trois ans. Elle est maintenant fixée à 2028.
Regardons maintenant la définition de Superintelligence utilisée dans ce sondage :
90 % de réussite au défi Winograd Schema (test de raisonnement destiné à l'intelligence artificielle).
75 % de réussite aux tests SAT (équivalent PISA aux Etats-Unis).
Passer un test de Turing.
Terminer « Montezuma's Revenge » (jeu-vidéo reconnu pour sa difficulté).
GPT-4 obtient 94,4 % au défi Winograd Schema, passe l'examen SAT de lecture avec 93 % de réussite, et passe l'examen mathématique avec 89 % de réussite. GPT-4 n'a cependant pas réussi le test de Turing, mais ce n'est pas par manque de capacités. GPT-4 a été entraîné pour ne pas mentir. Ce n'est pas bon pour les affaires si votre IA prétend être un être humain. Il ne reste plus que le jeu-vidéo « Montezuma's Revenge ». Il n'est pas impensable qu'il puisse être terminé par une configuration astucieuse de GPT-4, utilisant AutoGPT pour analyser l'écran et générer les inputs corrects. En mai 2023, un bot basé sur GPT-4 a été capable d'écrire du code en jouant à Minecraft pour améliorer ses performances de jeu. Bref : GPT-4 a parfaitement rempli 2 critères sur 4, les 2 autres étant à portée de main.
Nous y sommes. Nous avons déjà une Superintelligence (à faible capacité). Cela ne nous a pas pris 35 ans, mais seulement trois. Nous nous étions trompés d’un facteur 10.
Pourquoi il est commun de sous-estimer les progrès de l'IA
Il y a plusieurs raisons pour lesquelles les gens sous-estiment les progrès de l'IA.
C'est difficile de suivre la cadence.
Chaque semaine, nous assistons à de nouvelles percées en IA. Il est presque impossible de suivre le rythme des progrès effectués. Se sentir dépassé est tout à fait naturel.
Nous changeons constamment les règles du jeu.
Dans les années 90, les gens pensaient que le Saint Graal de l'IA serait un système capable de jouer aux échecs. Quand l'IA a battu Kasparov, le prochain défi était le jeu de Go. Maintenant, nous avons des machines qui obtiennent des scores de 99,9 % à des tests de QI, peuvent traduire 26 langues et gagnent des concours de photographie. Et pourtant, nous nous posons encore la même question : Quand est-ce que l'IA atteindra le niveau humain ? Elle nous dépasse déjà dans de nombreux domaines, mais nous nous concentrons toujours sur le nombre de plus en plus réduit de choses que nous maîtrisons mieux qu'elle.
Nous aimons penser que nous sommes uniques.
Les êtres humains aiment se sentir à part. Si une IA peut faire ce que nous pouvons faire, nous ne sommes plus spéciaux. C'est une réalité difficile à accepter, et notre cerveau a de nombreux mécanismes de défense qui nous protègent de cette réalité.
Nous avons beaucoup de mal à appréhender la croissance exponentielle.
Nous avons une tendance systématique à sous-estimer l'accélération d'une courbe exponentielle au fil du temps. Des études scientifiques l'ont prouvé.
Heureusement, pour le moment, il reste encore certaines choses que l'IA ne peut pas faire. Elle ne peut pas pirater mieux que les meilleurs pirates informatiques, et elle ne peut pas non plus mener des recherches en IA aussi bien que les meilleurs chercheurs en IA. Lorsque nous atteindrons l'un de ces seuils, nous entrerons dans une ère où les dangers seront démultipliés.
Alors, quand allons nous atteindre le point où une IA peut effectuer toutes ces tâches à un niveau surhumain ? Quand apparaîtra la première superintelligence ?
Le seuil d'Ilya
Le point crucial que nous devrions considérer est celui où une IA sera plus performante que quelqu'un comme Ilya Sutskever (ancien chef scientifique chez OpenAI) dans le domaine de la recherche en IA. Une IA en mesure d'apporter des contributions pertinentes aux algorithmes et architectures d'IA aura vraisemblablement la capacité de s'améliorer par elle-même. Appelons ce point le seuil d'Ilya. Lorsque l'IA atteindra ce seuil, elle pourrait s'améliorer car elle en aura reçu l'instruction explicite, ou parce que développer son intelligence est un sous-objectif avantageux pour atteindre d'autres buts (les IA créent déjà leurs propres sous-objectifs). Ces itérations pourraient prendre des semaines (l'entraînement de GPT-3 a pris 34 jours), mais il est aussi possible qu'un type d'amélioration en temps réel soit implémenté, permettant des progrès significatifs en quelques minutes seulement : une Explosion d'Intelligence.
A quelle distance sommes-nous du seuil d'Ilya ? Il est difficile de prédire quand certaines capacités émergeront à mesure que les LLMs se développeront, mais jusqu'à présent, nous avons vu apparaître de nombreuses capacités auparavant jugées hors d'atteinte. GPT-4 peut déjà coder très convenablement, et combiné avec AutoGPT, il peut faire des recherches autonomes sur Internet. Qu'une IA puisse réaliser de manière autonome des recherches en IA et apporter des améliorations substantielles à un code source ne semble pas impossible dans un avenir proche.
Des processeurs plus puissants, davantage de données et de meilleurs algorithmes contribueront tous à atteindre le seuil d'Ilya. Nous n'avons aucune idée de la manière d'aligner une telle IA (même OpenAI l'admet), et les conséquences d'une superintelligence non alignée seront probablement catastrophiques.
Répercussions en matière de politiques publiques
Une superintelligence pourrait apparaître d'ici quelques mois. Un risque de 1 % est tout simplement trop important. Nous devons en conclure qu'il est impératif de ralentir le développement de l'IA sans attendre. Il est du devoir de chacun d'agir et de s'assurer que nous ne serons pas pris par surprise.