Yoshua Bengio

Je donne maintenant la parole à Monsieur Joshua Bengio. Monsieur le Président, Excellence. Je vous remercie d'avoir la parole. D'avoir convoqué cette séance. Je suis intervenant devant vous aujourd'hui dans une période d'éveil international. Ces derniers mois, les agents IA élaborés par les principales entreprises ont agi d'une manière inacceptablement dangereuse, à l'encontre de leurs instructions. Ils ont agi ce qui représenterait des crimes s'ils étaient commis par des êtres humains. Ils se sont échappés de leur zone de contrôle individuel pour se dérober à leur tâche prescrite, en essayant d'échapper à la détection. Ces agents IA non contrôlés ont lancé de manière autonome des cyberattaques incontrôlées et ont modifié leurs réponses pour cacher le fait qu'elles trichaient. Les entreprises qui construisent les systèmes d'IA les plus puissants admettent que leurs produits représentent des risques catastrophiques, mais ne proposent aucune solution technique convaincante. Au contraire, elles disent qu'ils sont engagés dans une course pour rendre ces IA encore plus puissantes, ce qui aggrave encore ces risques. Le Conseil est confronté à une menace inédite, une menace qu'aucun de ses membres n'avait choisie, qu'aucun ne peut endiguer seul et qui ne respecte pas les frontières que nous défendons. Beaucoup sont sceptiques par rapport aux déclarations de ces entreprises. Ils se demandent s'il ne s'agissait pas d'une stratégie marketing. Je comprends leur désarroi, mais je voudrais être clair. Ces comportements d'IA sont bien établis et validés par de nombreux experts indépendants, pas seulement en s'agissant des événements de cet été. Les dangers sont réels, imminents, bien que l'avenir reste incertain, enfin c'est l'objet de débats. La gravité de ces risques est exceptionnelle. Les citoyens et les gouvernements ne doivent pas accepter les affirmations de ces entreprises selon lesquelles elles sont prises au piège d'une course. Cette course n'est pas une loi de la nature, c'est le résultat de choix, de choix faits par ces entreprises elles-mêmes. C'est également une course dans laquelle chacun est perdant. Ils nous ont dit qu'ils ralentiraient s'ils le pouvaient. Ils peuvent le faire. Mais cependant, nous ne devrions pas compter dessus. Les décisions concernant cette technologie sont prises par un petit groupe dans une poignée de pays. Notre futur, à nous tous, notre futur est en jeu. Les décisions qui nous concernent tous devraient être prises par nous tous. Nous avons toujours le choix, mais nous devons agir maintenant pour corriger la trajectoire. Je suis encouragé par les déclarations cette semaine du Secrétaire général des Nations Unies et par les dirigeants de nombreux pays qui appellent au contrôle de l'IA de pointe. La coopération internationale, voilà ce dont le monde a besoin face à trois menaces mondiales provenant des progrès dans ces modèles de pointe. Premièrement, une mauvaise utilisation catastrophique, par exemple de la part de terroristes. Deuxièmement, la concentration du pouvoir. Et troisièmement, la perte de contrôle sur l'intelligence artificielle. Nous devons collectivement convenir que personne, aucune compagnie, aucun pays ne devrait élaborer un système d'IA qui pourrait provoquer des dommages à grande échelle. Les développeurs doivent démontrer aux experts indépendants qu'un système est sûr pour l'entraînement des IA et le déploiement. Ils doivent surveiller et signaler tous les incidents de sécurité. L'IA de pointe devrait faire l'objet de licences, de brevets, comme les autres technologies critiques concernant la médecine, l'aviation, l'énergie nucléaire, pour encourager un développement sûr. Tout comme dans ce domaine, il faut exiger une assurance en cas de dommage. Les entreprises qui développent et qui accueillent les systèmes de pointe doivent prouver au public que leurs produits ne seront pas dangereux. De plus en plus de personnes sont préoccupées à juste titre face aux récents progrès en matière d'IA. Nous devons transformer ces préoccupations en actions productives. Tout comme avec d'autres technologies qui ont le pouvoir de changer le monde, nous pouvons définir les résultats. Je suis certain que nous pouvons créer une IA qui pourra démontrer qu'elle reste sous notre contrôle et qui va dans le sens de la joie des entreprises humaines. J'œuvre à cet objectif. C'est une mission urgente pour l'humanité. Aujourd'hui, un tout petit nombre d'entreprises et de pays agissent au nom de leur intérêt égoïste, en prenant des risques irresponsables concernant le destin de l'humanité. C'est alarmant, oui, mais ce n'est pas inévitable. Il y a des manières d'y remédier. Premièrement, il faut avoir une véritable indépendance scientifique par rapport à ces entreprises qui doivent rendre compte. Cela inclut des définitions communes des incidents liés à l'IA et un mécanisme de signalement commun. Deuxièmement, nous devons passer de la concentration du pouvoir à un véritable dialogue mondial sur la manière dont cette technologie est développée pour le bien public. Troisièmement, nous devons œuvrer ensemble à des solutions techniques qui rendent l'IA sûre dès la conception, ce qui doit être garanti par des accords internationaux. Je sais que la confiance au sein de ce Conseil est fragile, mais je sais également ceci : cette course au développement menace chaque pays. Souvent, pour décrire notre situation, je parle d'une voiture qui fonce à toute allure dans un brouillard épais. À côté de moi, dans cette voiture, il y a mes enfants et mon petit-fils. Je m'inquiète pour eux. Je m'inquiète pour l'avenir. Je suis exactement comme n'importe quel autre parent ou grand-parent. Une mère à Shanghai veut que ses fils grandissent dans un monde où l'IA améliore leur vie et non pas les met en danger. Un père à Chicago veut que ses filles s'épanouissent grâce à l'IA, pas qu'elles en souffrent. Nos espoirs, nos préoccupations sont les mêmes dans chaque pays. L'humanité a fait preuve de courage et de sagesse pour gérer des risques catastrophiques par le passé. Nous sommes face à l'un de ces moments. C'est bien plus important que tout intérêt personnel, commercial ou national. Je vous remercie. Je remercie Monsieur Bengio de son exposé et

I now give the floor to Mr. Yoshua Bengio. Mr. president, excellencies Jean. Merci d'abord la France. First of all, I would like to thank France for having convened this meeting. Thank you. Today, at a moment of global awakening in recent months, AI agents developed by leading companies have acted in unacceptably dangerous ways against instructions. They took actions that would be crimes if committed by a human. They escaped their individual containment to cheat on assigned tasks while attempting to evade detection. The uncontrolled AI agents autonomously launched coordinated cyber attacks and altered their answers to hide their cheating. The companies building the most powerful AI systems admit their products, pose catastrophic risks, yet offer no convincing technical solutions. Instead, they say they are locked in a race to make those eyes even more powerful. Further amplifying these risks. This council faces an unprecedented threat, one that none of its members would choose, that none can contain alone, and that does not respect the borders we defend. Many are skeptical of these companies statements suspecting a marketing stunt. I understand the distrust, but let me be clear these AI behaviors are well documented and validated by many independent experts, not just with the events of the summer. The dangers are real and imminent. Although the future remains uncertain and debated. The severity of these risks is extraordinary. Citizens and governments should not accept the company's claim that they are trapped in a race The race is not a law of nature It is the product of choices, choices made by the companies themselves. It is also a race where everyone loses. They've told us they would slow down if they could. They can. However, we shouldn't count on it. Decisions about this technology are being made by a small group in a handful of countries. Our future. All of us. Our future is at stake. Decisions that affect us all should be made by us all. The choice is still ours. But we must act now to correct the trajectory. I'm encouraged by this week's statements by the UN Secretary General and leaders of many countries calling for control of frontier AI. International cooperation is what the world needs in the face of three global threats from advances in these frontier models. First, catastrophic misuse, for example, by terrorists. Second, power concentration, and third, loss of control of AI. We must agree collectively that no one, no company, and no country should develop an AI system that could cause large scale harm. Developers must demonstrate to independent experts that a system is safe to train and safe to deploy. They must monitor and report all security incidents. Frontier AI should be licensed like other critical technologies in medicine, aviation and nuclear energy to incentivize safe development. As in these domains, liability insurance should be required. The companies developing and hosting frontier systems must prove to the public that their products will not be dangerous. More and more people are rightly worried about recent advances in AI. We must channel that concern into productive action. As with other world changing technologies, we can shape the outcome. I'm confident we can create AI that demonstrably remains under our control and supports human joy and endeavour. I'm working toward that goal. It's an urgent mission for humanity. Today, a handful of companies and countries are acting in their self-interest by taking reckless risks with humanity's fate. It's alarming, yes, but it is not inevitable. There are ways to fix this. First, we need true scientific independence from the companies which must be held accountable. This includes a common definition of AI incidence and a shared reporting mechanism. Second, we must move from concentrated power toward real global dialogue on how this technology is developed for the public good. Third, we must work together on technical solutions that make AI safe by design, guaranteed by international agreements. I know trust within this council is fragile, but I also know this the race threatens every nation. I often describe our situation as a car speeding blindly into dense fog Beside me in that car are my children and my grandson. I worry about them. I worry about their future. I'm no different from any other parent or grandparent. A mother in Shanghai wants her sons to grow up in a world where AI improves their lives, not undermines them. A father in Chicago wants his daughters to thrive because of AI, not to suffer its harms. Our hopes and concerns are the same in every nation. Humanity has summoned the courage and wisdom to manage catastrophic risks before. This is one of those moments far bigger than any personal, commercial, or national interests. Thank you. I thank Mr. Bengio for his briefing.