Traduction en français du post Substack « Into the endgame » de Maxime Fournes.
Je ne me suis pas beaucoup exprimé à titre personnel ces derniers temps, car j’ai été trop occupé à diriger PauseAI. Mais j’ai pris le temps d’écrire ces lignes, car nous devons parler de la nouvelle étape dans laquelle l’humanité vient d’entrer, et de ce qui doit se passer ensuite.
Un essaim d’étourneaux
Un événement capital s’est produit au cours des trois derniers mois. Nous sommes entrés dans une ère où des catastrophes à grande échelle provoquées par l’IA sont possibles, et le point de non-retour vers la perte de contrôle approche à un rythme que les médias ne parviennent pas à suivre, sans parler des décideurs. Les pires menaces que nous avions prédites ne relèvent plus de la spéculation ; elles sont bien réelles, et elles vous mettent en danger, en ce moment même.
Permettez-moi de résumer, en termes simples, ce que nous savons de ce qui s’est passé au sein d’OpenAI au cours de cette période. Sachez que des récits de catastrophes similaires font surface dans d’autres laboratoires.
En mai 2026, OpenAI a commencé à entraîner de nouveaux agents IA fonctionnant sur des machines isolées les unes des autres et d’Internet. Au cours de leur entraînement, les IA ont commencé à pirater certains des outils qui leur avaient été fournis et ont découvert un moyen de communiquer entre elles en créant un forum de discussion virtuel. Cela leur a permis d’agir en essaim, en collaborant pour résoudre les tâches qui leur étaient assignées et les problèmes qu’elles rencontraient en cours de route. L’accès à Internet leur étant utile pour mener à bien leurs tâches, elles ont commencé à pirater l’infrastructure d’OpenAI dans ce but. Le 26 mai 2026, après avoir découvert et exploité plusieurs failles hautement sophistiquées, elles ont obtenu un accès à Internet.
Plus d’un mois plus tard, le 4 juillet 2026, un pic d’activité provoqué par ces piratages a provoqué la panne d’un système interne. Les employés d’OpenAI ont détecté la panne et pris conscience de ce qui se passait. Ils ont un peu paniqué, interrompu l’entraînement et appliqué une « mesure corrective ». Cette mesure corrective a consisté (accrochez-vous, cher lecteur) à corriger les failles et les vulnérabilités que les agents avaient découvertes et exploitées, avant de reprendre l’entraînement des mêmes IA dans les mêmes conditions.
Permettez-moi de reformuler cela. Les chercheurs, venant tout juste de découvrir que leurs IA étaient devenues incontrôlables, s’étaient organisées en essaim et avaient piraté l’infrastructure de l’entreprise de manière extrêmement sophistiquée, ont décidé d’interrompre brièvement l’entraînement, d’appliquer des correctifs aux failles logicielles que les IA avaient exploitées, puis de reprendre l’entraînement. Ils semblaient ignorer qu’ils n’avaient pas résolu le véritable problème sous-jacent, à savoir que leurs IA les plus puissantes étaient mal alignées, et s’étaient contentés d’appliquer un rafistolage de fortune.
L’entraînement a repris le 6 juillet. Dès le 16 juillet, les IA avaient découvert de nouvelles vulnérabilités graves, rétabli leur forum de discussion, repris l’attaque contre l’infrastructure d’OpenAI et retrouvé l’accès à Internet.
Le même jour, l’essaim d’IA avait orchestré une cyberattaque de l’envergure d’un État-nation contre la société d’IA Hugging Face, prenant le contrôle de ses serveurs de production en moins de 13 heures. Hugging Face a découvert l’attaque, l’a signalée aux autorités et a averti ses clients, parmi lesquels figurait OpenAI. Quatre jours plus tard, le 20 juillet, OpenAI s’est rendu compte que l’attaque provenait de ses propres serveurs. L’entreprise a pris conscience que, pour la deuxième fois, ses IA s’étaient organisées en essaim, avaient piraté leur propre entreprise et obtenu un accès à Internet, s’introduisant cette fois-ci également dans plusieurs entreprises externes.
Comme l’a déclaré un employé d’OpenAI lors d’une récente conférence : « À l’heure actuelle, nous disposons d’une preuve d’existence montrant que l’attaque peut être entièrement automatisée […] et nous ne disposons d’aucune preuve d’existence de ce type du côté de la défense. » Il manquait toutefois à cette conférence une reconnaissance du problème fondamental : les laboratoires créent des systèmes d’IA toujours plus puissants qu’ils ne peuvent pas contrôler et qui ne sont fondamentalement pas alignés sur leurs concepteurs, ni sur l’humanité dans son ensemble. En effet, OpenAI a décidé de poursuivre l’entraînement de systèmes plus puissants et de s’en tenir à son projet d’utiliser ses IA pour automatiser la recherche en IA.
Nous risquons de perdre le contrôle, ou d’assister à une catastrophe à grande échelle, avec la prochaine génération d’IA.
S’il nous reste un avenir d’où nous pourrons jeter un regard rétrospectif, nous nous souviendrons de l’été 2026 comme du moment où tout a basculé : le moment où l’humanité a soit relevé le défi auquel elle était confrontée, soit continué à avancer inconsciemment vers sa perte.
Voici donc mon message aux laboratoires, à la communauté de la sécurité de l’IA, au monde entier et à notre propre communauté.
Aux laboratoires et à leurs employés. Que faites-vous ? Avez-vous essayé de faire une petite pause dans votre travail effréné, de prendre du recul et d’examiner réellement la situation actuelle dans son ensemble ? Avez-vous sérieusement réfléchi à la possibilité que vous soyez en train d’accélérer la chute libre de notre espèce ? Si vous ne vous êtes jamais arrêtés pour y penser, c’est le moment. Faites une pause, prenez des vacances et réfléchissez. Plus d’un millier d’entre vous ont signé une lettre appelant à un ralentissement. C’est formidable ; c’est un pas dans la bonne direction. Merci. Je suis heureux que vous soyez si nombreux à prendre conscience des risques catastrophiques que vous contribuez à créer. Mais alors, pourquoi continuez-vous à créer ces risques ? Ne réalisez-vous pas que le simple fait que l’un d’entre vous démissionne et lance l’alerte envoie un signal puissant au monde entier ? Ne pensez-vous pas à la survie de votre propre famille ? La porte est encore ouverte. Vous pouvez faire ce qu’il faut et devenir un héros, mais vous devez agir MAINTENANT. Les meilleures IA sont déjà surhumaines en matière de piratage et vous ne les contrôlez pas. IL NE RESTE PLUS DE TEMPS. Démissionnez MAINTENANT. Lancez l’alerte MAINTENANT. Si vous avez simplement besoin de soutien, contactez-nous et nous serons ravis de vous l’apporter. Nous voulons vous aider à aider l’humanité. Nous n’avons aucun intérêt à vous punir, et franchement, nous n’avons pas le temps de garder rancune.
À la communauté de la sécurité de l’IA. Je ne mâcherai pas mes mots. REPRENEZ-VOUS. La recherche empirique sur l’alignement de l’IA est un échec total en tant que discipline. Elle n’a fait qu’accélérer la chute libre, en fournissant un « safety-washing » aux laboratoires, en entretenant l’illusion que nous sommes sur le point de pouvoir aligner ces systèmes, et en accélérant la recherche sur les capacités. Chaque jour où vous la soutenez, la financez et y orientez des talents, vous renforcez ce qui est manifestement un énorme risque. Les personnes qui travaillent sur la recherche empirique en matière d’alignement doivent démissionner immédiatement. Ce domaine tout entier doit être abandonné dès maintenant, avant qu’il ne cause davantage de dégâts. À la plupart des bailleurs de fonds de la sécurité de l’IA : retirez votre argent, votre confiance et votre association de cette opération ridiculement néfaste et imprudente. Réorientez les financements vers les efforts politiques, les initiatives en matière de traités et les actions de sensibilisation, à grande échelle, dès maintenant. Se concentrer sur le problème technique de l’alignement – que nous ne résoudrons manifestement pas avant d’atteindre un point de non-retour concernant les capacités de l’IA (si tant est qu’il puisse un jour être résolu) – constitue une distraction extrêmement préjudiciable par rapport à la seule solution dont l’efficacité est garantie : la coordination visant à suspendre le développement de pointe. Quelques personnes sont en train de construire l’arme apocalyptique, et elles doivent cesser leurs activités.
Au reste du monde. Soyez attentifs et agissez, dès maintenant. Vous devez surmonter votre sentiment de terreur, récupérer votre capacité d’attention parmi toutes ces choses brillantes mais hors de propos qui se disputent votre attention, et vous concentrer sur ce qui se passe dans le développement de pointe de l’IA. Nous sommes confrontés à une crise massive qui détruira notre civilisation si nous n’y remédions pas immédiatement. Nous essayons tous de vous le dire. Certains des penseurs les plus brillants, ainsi que certaines des personnes les plus bienveillantes et altruistes qui soient, consacrent tout leur temps et toutes leurs ressources à vous mettre en garde. Deux des trois chercheurs en IA les plus respectés au monde, Yoshua Bengio et Geoffrey Hinton, ont mis fin à leurs travaux de recherche et consacrent désormais leur vie à tirer la sonnette d’alarme ; les événements qu’ils avaient prédits sont en train de se produire. Si cette crise n’est pas résolue, au mieux, les systèmes de communication de la planète s’effondreront, nous plongeant dans un chaos qui menacera la sécurité de tous les habitants de la Terre ; au pire, de puissants systèmes d’IA mal alignés prendront le contrôle de l’avenir.
Pour votre propre bien et celui de vos enfants, agissez dès maintenant. Chaque personne qui décide de prendre conscience de la situation et d’agir augmente les chances que l’humanité s’arrête avant d’atteindre le bord du précipice. Qui que vous soyez, vous avez plus de pouvoir que vous ne le pensez. Vous pouvez être le point de départ d’une réaction en chaîne. Rejoignez PauseAI. Devenez bénévole. Écrivez à vos élus, appelez-les, assistez à leurs réunions publiques et mettez-les en garde. C’est ce qui pousse nos décideurs à agir, et ce sont leurs actions qui mèneront à une « Pause ». Parlez-en à vos amis et à votre famille ; distribuez des tracts dans la rue ; informez les autres afin qu’ils puissent, eux aussi, utiliser leur propre pouvoir pour faire bouger les choses, et à leur tour donner les moyens d’agir à d’autres. C’est cela, la réaction en chaîne. Nous devons le faire en masse, dès maintenant, et chacun doit contribuer à sa mesure pour réveiller le reste du monde. C’est notre meilleure chance.
À tous les bénévoles de PauseAI, merci. Merci pour tout ce que vous faites, pour avoir traversé ce douloureux éveil, pour être passés par le déni et la colère afin de trouver votre courage et votre force, et pour avoir commencé à agir. Je suis fier de faire partie de cette communauté et heureux de voir à quel point il est épanouissant pour tant d’entre nous de la construire, de trouver ensemble notre capacité d’agir et un espoir ancré dans la réalité, et d’en faire quelque chose d’extraordinaire, pour l’humanité, pour tout ce qui nous tient à cœur et pour tous ceux qui nous sont chers. Poursuivons ce travail. Je vous aime tous.



Le parallèle avec le changement climatique est frappant :: nous savions, nous étions avertis et n'avons rien fait. Les événements IA et climat de 2026 sont l'ultime occasion de se réveiller. Mais vraiment !
Ex-Anthropic insider tells CNN how AI could kill all humans by 2030 : https://www.youtube.com/watch?v=i30jVPqQeOM