Dario Amodei

je donne maintenant la parole à Monsieur Dario Amodei. Bonjour. Permettez-moi de remercier la France d'avoir organisé cette réunion, ainsi que les membres du Conseil de m'avoir invité. L'IA progresse très rapidement. Il y a quatre ans, elle pouvait difficilement écrire une ligne de code ou régler un problème de maths du lycée. Aujourd'hui, elle écrit les codes d'entreprise pour résoudre les problèmes de maths. Dans un ou deux ans, peut-être moins, on pourra parvenir à ce que j'appelle un pays de génie dans les centres de données. Ce rythme rapide des progrès produira des avantages remarquables pour le monde entier. Rien qu'aujourd'hui, Anthropic a annoncé la découverte d'une nouvelle machine moléculaire. C'est une conclusion préliminaire, mais qui pourrait représenter un nouveau mécanisme génétique qui pourrait aider des applis à avoir des applications en thérapie génique. Ce sont des progrès fantastiques. Ce type d'application s'accélérera rapidement dans les années à venir et nous pourrons faire d'immenses progrès dans un avenir proche sur des maladies dont souffre l'humanité depuis des millénaires. Mais ces capacités remarquables s'accompagnent également de risques qu'il faut gérer. Pour moi, il y a deux principales catégories de risques. Premièrement, la mauvaise utilisation des modèles de l'IA, par exemple, la mauvaise utilisation par des bioterroristes pour créer des armes biologiques. Deuxième risque, la perte de contrôle. La capacité des modèles s'accélère au-delà de la capacité des développeurs de les contrôler. Ces questions sont de portée mondiale et concernent toute l'humanité. Elles sont suffisamment graves pour être des questions importantes pour le Conseil, pas seulement pour les ministères de l'Économie ou des TIC. Si c'est mal géré, je pense même que l'IA pourrait représenter un risque pour l'ensemble de l'humanité. À Anthropic, nous pensons que nous avons les meilleurs antécédents dans le secteur pour prévenir ces risques. Nous testons chaque modèle pour rechercher des capacités dangereuses dans le domaine de la cybersécurité, de la biologie. Nous mettons en place d'importants garde-fous sur nos modèles les plus performants et nous publions nos travaux dans ce domaine. Nous avons été les pionniers de la recherche dans des domaines comme l'interprétabilité mécanistique, la science de l'alignement. Nous avons amélioré notre capacité à contrôler nos modèles. Nous avons également des pratiques de transparence sans égal. Nous publions des rapports sur les risques qui font des centaines de pages. Mais nous comprenons qu'alors que les modèles d'IA deviennent plus puissants, il faudra des normes de sécurité encore plus strictes. Et nous visons toujours à améliorer nos pratiques en termes de sécurité et d'alignement, notre capacité à prévenir une mauvaise utilisation. Nous essayons toujours de faire mieux. Nous ralentirons autant que nécessaire pour faire en sorte que chaque nouvelle technologie d'IA que nous déployons soit véritablement sûre. Mais quoi que nous fassions, gérer ces risques en dernier ressort est une tâche plus vaste que n'importe quelle entreprise. Le 12 septembre, j'ai demandé un effort coopératif pour veiller sur la frontière. Pas stopper les progrès de l'IA, mais œuvrer ensemble pour faire en sorte que le secteur et le monde puissent progresser à un rythme qui nous permettra d'être sûrs que la sûreté, la sécurité sera à la hauteur des capacités pour chaque secteur. Cet appel avait trois parties. Nous sommes engagés à intégrer des évaluateurs extérieurs dans Anthropic, un peu comme les inspecteurs alimentaires. Nous avons recommandé d'autres entreprises du monde fassent de même. Certaines ont déjà accepté d'adopter cette mesure. Deuxièmement, nous avons appelé de nouveau la coopération dans l'ensemble du secteur pour fixer les normes et moduler le rythme du progrès. Et enfin, nous avons demandé une coopération mondiale dans le monde entier entre les gouvernements pour fixer des normes internationales. C'est dans ce dernier domaine, ce dernier domaine qui relève le plus clairement des compétences du Conseil. Je voudrais vous proposer trois idées à cet égard. Premièrement, nous devrions tout d'abord commencer par des accords restreints que chaque membre pourrait soutenir. Par exemple, l'interdiction d'utiliser l'IA pour produire des armes biologiques ou empêcher que les technologies IA soient utilisées pour produire des armes biologiques. Deuxièmement, nous devrions créer des systèmes d'évaluation et de vérification qui suivent le rythme du développement de l'IA afin que des États aient la visibilité dans les capacités des modèles de pointe et vérifient les engagements des autres. Deuxièmement, nous devrions créer des normes mondiales communes pour tester les modèles d'IA, pour détecter les risques de perte de contrôle et de mauvaise utilisation. Il faut un système de notification pour les incidents d'IA qui sont importants face à la sécurité internationale. Je pense que c'est la question de sécurité internationale la plus importante auxquelles confronter le monde aujourd'hui. Malgré tous les différends entre les personnes dans cette salle, nous devons les mettre de côté pour faire face à cette chance mondiale et à cette menace mondiale qui se présente à nous en même temps. Aucun dirigeant, aucune entreprise ou aucun pays ne peut gérer cela seul. Nous nous engageons à œuvrer avec les gouvernements présents dans cette salle à cette tâche urgente. Je vous remercie de votre attention. Amodei de son exposé et

I now give the floor to Mr. Dario Amodei. Good afternoon. I'd like to thank France for convening this meeting. And the members of the council for inviting me to speak. AI is advancing very quickly. Four years ago, it could barely write a line of code or solve a high school math problem. Today it writes most of the coded anthropic and solves world famous unsolved math problems. The trajectory only needs to continue for a tiny period longer. 1 or 2 years, maybe less, to reach what I've called a country of geniuses in a data center. This rapid pace of progress will produce incredible benefit for the world. Just today, anthropic announced the Claude led discovery of a new molecular machine. It's a preliminary finding, but it may constitute a new gene editing mechanism that could have applications in gene therapy. Claude led the literature review theorizing and experimental design, and humans ran and verified the experiments in the lab. We believe this type of application will accelerate rapidly in the years ahead, and that we can make profound progress in the near future on diseases that have plagued humanity for millennia. But these remarkable capabilities also come with risks that must be managed. I see two main categories of risk. The first is misuse of AI models, for example, misuse by bioterrorists to create biological weapons. The second risk is loss of control model capabilities, accelerating beyond developers ability to control them. These questions are global in scope and concern all of humanity. They are grave enough that I believe they are important questions for this council, not just for economic or ICT ministries. If managed poorly, I even believe that AI could be a risk to humanity as a whole. At anthropic, we believe we have the best track record in the industry for preventing these risks, both operationally and in our research. We test every model for dangerous capabilities in areas like cybersecurity and biology. We put strong safeguards on our most capable models, and we publish our work in these areas. We have pioneered research in areas like mechanistic, interpretability and alignment science that improve our ability to steer and control our models. We also have unparalleled transparency practices, releasing risk reports that run to hundreds of pages. But we understand that as AI models become more powerful, even more stringent standards of safety will be required. And we are always aiming to improve our safety and alignment practices, our abilities, our ability to prevent misuse. And we are always striving to do better. We will slow down as much as necessary in order to make sure that every successive AI technology that we release is actually safe. But regardless of what we do, managing these risks is ultimately bigger than any one company, and it has an industry wide and global scale. On September 12th, I called for a collaborative effort to pace the frontier, not to stop AI progress, but to work together to make sure the industry and the world can proceed at a rate where we can be sure that safety keeps up with capability for everyone in the industry. This call had three parts. First, we committed to embed external evaluators inside anthropic with employee like access similar to a food inspector and. And we recommended that other companies across the world do the same. Some have already agreed to adopt this measure. Second, we called for cooperation across the industry to set standards and modulate the pace of progress. And finally, we called for global cooperation across the world between governments to set international standards. It is this last area that most squarely falls within this council's remit. I want to offer three ideas in this regard. First, we should begin with narrow agreements that every member can support, such as a ban on using AI to make biological weapons, or permitting your AI technologies to be used to make biological weapons. Second, we should build evaluation and verification systems that keep pace with AI development so that states can have visibility into frontier model capability and can verify each other's commitments. Third, we should establish common global standards for testing AI models for loss of control, risks and misuse risks, and a notification system for AI incidents that are significant to global security. I believe that this is the most important global security issue facing the world today. For all the differences of the people in this room, we must put aside those differences in order to confront this global opportunity and global threat that is being presented to us at the same time. No leader, no company, and no nation can manage this alone. We commit to working with governments in this room on this urgent work. Thank you for your attention. Merci, monsieur. I thank Mr. Ahmadi for his briefing.