Source: Le papier

Le journaliste Fang Xiao

"Nous pourrions finir par avoir besoin de quelque chose comme l'AIEA (Agence internationale de l'énergie atomique) pour les efforts de super-intelligence ; tout effort au-delà d'un certain seuil de capacités (ou de ressources comme l'informatique) devrait être vérifié par une autorité internationale, exigeant des audits, testant la conformité avec normes de sécurité, restrictions sur le degré de déploiement et le niveau de sécurité, etc.

La direction d'OpenAI a publié "Governance of Superintelligence" sur son blog officiel.

Les progrès de l'intelligence artificielle sont suffisamment rapides et les dangers possibles sont suffisamment clairs pour que la direction d'OpenAI, le développeur de ChatGPT, ait déclaré que le monde avait besoin d'un organisme international de superintelligence similaire à celui qui régit l'énergie nucléaire.

Le 22 mai, heure locale, le fondateur d'OpenAI, Sam Altman (Sam Altman), le président Greg Brockman (Greg Brockman) et le scientifique en chef Ilya Sutskever (Ilya Sutskever) ont uni leurs forces au sein de l'entreprise Écrivant sur le blog, affirmant que le rythme de l'innovation dans l'intelligence artificielle est si rapide que nous ne pouvons pas nous attendre à ce que les institutions existantes contrôlent adéquatement la technologie.

L'article, intitulé « Gouvernance de la superintelligence », reconnaît que l'IA ne se gérera pas elle-même : « Nous pourrions éventuellement avoir besoin de quelque chose qui ressemble à l'AIEA (Agence internationale de l'énergie atomique) pour les efforts de superintelligence ; toutes les ressources telles que l'informatique) les efforts de seuil doivent être vérifiés par les autorités internationales, exigent des audits, vérifient s'ils répondent aux normes de sécurité, limitent le degré de déploiement et le niveau de sécurité, etc.

Le principal chercheur et critique de l'IA, Timnit Gebru, a déclaré quelque chose de similaire dans une interview avec The Guardian ce jour-là : "à moins qu'il n'y ait une pression externe pour faire quelque chose de différent, les entreprises ne s'autorégulent pas. Nous avons besoin de réglementation, nous avons besoin de quelque chose de mieux qu'un pur motif de profit. ." Gebru a été renvoyé de Google pour avoir dénoncé les dangers de l'intelligence artificielle.

La proposition d'OpenAI pourrait lancer une conversation dans l'industrie, montrant que les plus grandes marques et fournisseurs d'IA au monde soutiennent la réglementation et ont un besoin urgent d'une surveillance publique, mais "ne savent pas encore comment concevoir un tel mécanisme".

La semaine dernière, Altman a témoigné devant le Congrès américain qu'OpenAI était "très préoccupé" par le fait que les élections soient influencées par le contenu généré par l'IA. Il craint que l'industrie de l'IA ne puisse "faire un tort important au monde". "Je pense que si cette technologie va mal, elle peut aller terriblement mal, et nous voulons être francs à ce sujet." "Nous voulons travailler avec le gouvernement pour empêcher que cela ne se produise." Altman a suggéré que le Congrès crée de nouvelles agences qui émettent les licences pour les technologies d'IA "au-delà d'une certaine échelle de capacité" devraient être soumises à des audits indépendants par des experts qui peuvent juger si le modèle est conforme à ces réglementations avant de rendre public un système d'IA.

Ce qui suit est le texte intégral de "Governance of Superintelligence":

Compte tenu de l'image que nous voyons maintenant, il est concevable qu'au cours de la prochaine décennie, les systèmes d'IA dépasseront les niveaux de compétence des experts dans la plupart des domaines et effectueront autant d'activités productives que l'une des plus grandes entreprises d'aujourd'hui.

En termes d'avantages et d'inconvénients potentiels, la superintelligence sera plus puissante que les autres technologies auxquelles les humains ont dû faire face dans le passé. Nous pouvons avoir un avenir plus prospère, mais nous devons gérer le risque pour y arriver. Compte tenu du potentiel de risque, nous ne pouvons pas nous contenter d'être réactifs. L'énergie nucléaire est un exemple historique courant d'une technologie de cette nature, la biologie synthétique en est un autre.

Nous devons également réduire les risques des technologies d'intelligence artificielle d'aujourd'hui, mais la superintelligence nécessite une manipulation et une coordination particulières.

Un point de départ

Il existe un certain nombre d'idées qui sont importantes pour nos bonnes chances de naviguer avec succès dans ce développement ; nous fournissons ici nos premières réflexions sur trois d'entre elles.

Premièrement, nous avons besoin d'un certain degré de coordination entre les principaux efforts de développement pour garantir que le développement de la superintelligence se déroule de manière à assurer notre sécurité et à aider ces systèmes à s'intégrer en douceur dans la société. Il existe de nombreuses façons d'y parvenir ; les principaux gouvernements du monde pourraient établir un programme dans lequel bon nombre des efforts actuels font partie, ou nous pourrions convenir collectivement (avec le soutien de la nouvelle organisation proposée ci-dessous) que des capacités d'IA de pointe Le taux de croissance de l'entreprise doit être limité à un certain taux chaque année.

Bien sûr, les entreprises individuelles doivent également agir de manière responsable et avec des normes extrêmement élevées.

Deuxièmement, nous pourrions finir par avoir besoin de quelque chose qui s'apparente à l'AIEA (Agence internationale de l'énergie atomique) pour les efforts de super-espionnage ; tout effort au-delà d'un certain seuil de capacités (ou de ressources informatiques, etc.) devrait être vérifié par une autorité internationale, nécessitant un audit , tests de conformité aux normes de sécurité, limitation des niveaux de déploiement et de sécurité, etc. Le suivi de l'informatique et de la consommation d'énergie aiderait beaucoup et nous donnerait un peu d'espoir que cette idée soit réellement réalisable. Dans un premier temps, les entreprises pourraient accepter volontairement de commencer à mettre en œuvre les éléments qu'une telle agence pourrait un jour exiger, tandis que dans un deuxième temps, les pays individuels pourraient les mettre en œuvre. Il est important qu'une telle agence se concentre sur la réduction des risques existants, plutôt que sur les questions qui devraient être laissées à chaque pays, comme la définition de ce que l'IA devrait être autorisée à dire.

Troisièmement, nous avons besoin de capacités technologiques pour sécuriser la superintelligence. C'est un problème de recherche ouvert, et beaucoup de travail est fait par nous et d'autres.

ce qui n'est pas dans le champ d'application

Nous pensons qu'il est important de permettre aux entreprises et aux projets open source de développer des modèles en dessous d'un seuil significatif de capacité sans le type de réglementation que nous décrivons ici (y compris les mécanismes onéreux tels que les licences ou les audits).

Les systèmes d'aujourd'hui créeront une valeur énorme dans le monde, et bien qu'ils comportent des risques, ces niveaux de risque semblent proportionnels à d'autres technologies Internet, et ce que la société pourrait faire semble approprié.

En revanche, les systèmes sur lesquels nous nous concentrons auront l'élan nécessaire pour surpasser toute technologie qui n'a pas encore été créée, et nous devons veiller à ne pas minimiser l'accent mis sur les technologies qui sont bien en deçà en leur appliquant des normes similaires.

Contribution du public et potentiel

Mais la gouvernance des systèmes les plus robustes et les décisions concernant leur déploiement doivent être étroitement surveillées par le public. Nous croyons que les gens du monde entier devraient déterminer démocratiquement les limites et les défauts des systèmes d'IA. Nous ne savons pas encore comment concevoir un tel mécanisme, mais nous prévoyons d'expérimenter son développement. Nous pensons toujours qu'à ces larges échelles, les utilisateurs individuels devraient avoir un grand contrôle sur le comportement de l'IA qu'ils utilisent.

Compte tenu des risques et des difficultés, il convient de se demander pourquoi nous construisons cette technologie.

Chez OpenAI, nous avons deux raisons fondamentales. Premièrement, nous pensons que cela conduira à un monde meilleur que nous ne l'imaginons aujourd'hui (nous en avons vu des exemples précoces dans des domaines tels que l'éducation, le travail créatif et la productivité personnelle). Le monde est confronté à de nombreux problèmes et nous avons besoin de plus d'aide pour les résoudre ; cette technologie peut améliorer notre société et la capacité créative de tous ceux qui utilisent ces nouveaux outils nous surprendra sûrement. La croissance économique et l'amélioration de la qualité de vie seront phénoménales.

Deuxièmement, nous pensons que la prévention de la superintelligence comporterait des risques et des difficultés non intuitifs. Étant donné que les avantages sont si importants, que le coût de sa construction diminue chaque année, que le nombre d'acteurs qui la construisent augmente rapidement et que cela fait essentiellement partie de la voie technologique sur laquelle nous nous trouvons, l'arrêter nécessite quelque chose qui s'apparente à un système de surveillance mondial , Même cela n'est pas garanti de fonctionner. Nous devons donc bien faire les choses.