Fuente: El Papel

Reportero Fang Xiao

"Es posible que terminemos necesitando algo como el OIEA (Agencia Internacional de Energía Atómica) para los esfuerzos de superinteligencia; cualquier esfuerzo que supere un determinado umbral de capacidades (o recursos como la informática) tendría que ser controlado por una autoridad internacional, lo que requeriría auditorías, pruebas de cumplimiento de estándares de seguridad, restricciones en el grado de despliegue y nivel de seguridad, etc.

El liderazgo de OpenAI publicó "Gobernanza de superinteligencia" en su blog oficial.

Los avances en inteligencia artificial son lo suficientemente rápidos y los posibles peligros son lo suficientemente claros como para que el liderazgo de OpenAI, el desarrollador de ChatGPT, haya dicho que el mundo necesita un organismo internacional de superinteligencia similar al que rige la energía nuclear.

El 22 de mayo, hora local, el fundador de OpenAI, Sam Altman (Sam Altman), el presidente Greg Brockman (Greg Brockman) y el científico jefe Ilya Sutskever (Ilya Sutskever) unieron fuerzas en la empresa Escribiendo en el blog, diciendo que el ritmo de la innovación en inteligencia artificial es tan rápido que no podemos esperar que las instituciones existentes controlen adecuadamente la tecnología.

El artículo, titulado "Gobernanza de la superinteligencia", reconoce que la IA no se gestionará sola, "Eventualmente, es posible que necesitemos algo similar a la IAEA (Agencia Internacional de Energía Atómica) para los esfuerzos de superinteligencia; cualquiera o recursos como la informática) deben ser esfuerzos de umbral. controlados por autoridades internacionales, requieren auditorías, comprueban si cumplen con los estándares de seguridad, limitan el grado de despliegue y el nivel de seguridad, etc.

El destacado investigador y crítico de IA, Timnit Gebru, dijo algo similar en una entrevista con The Guardian ese día: "A menos que haya presión externa para hacer algo diferente, las empresas no se autorregulan. Necesitamos regulación, necesitamos algo mejor que un motivo de lucro puro". ." Gebru fue despedido de Google por hablar sobre los peligros de la inteligencia artificial.

La propuesta de OpenAI podría ser un tema de conversación en la industria, mostrando que las marcas y proveedores de IA más grandes del mundo apoyan la regulación y necesitan urgentemente supervisión pública, pero "aún no saben cómo diseñar un mecanismo de este tipo".

La semana pasada, Altman testificó ante el Congreso de los EE. UU. que OpenAI estaba "muy preocupado" por la influencia de contenido generado por IA en las elecciones. Le preocupa que la industria de la IA pueda "causar un daño significativo al mundo". "Creo que si esta tecnología sale mal, puede salir terriblemente mal, y queremos ser francos al respecto". "Queremos trabajar con el gobierno para evitar que eso suceda". Altman sugirió que el Congreso cree nuevas agencias que emitan las licencias para tecnologías de IA "más allá de una cierta escala de capacidad" deben estar sujetas a auditorías independientes por parte de expertos que puedan juzgar si el modelo cumple con esas regulaciones antes de lanzar un sistema de IA al público.

El siguiente es el texto completo de "Gobierno de Superinteligencia":

Dada la imagen que estamos viendo ahora, es concebible que dentro de la próxima década, los sistemas de IA superen los niveles de habilidad de los expertos en la mayoría de los dominios y realicen tantas actividades productivas como una de las corporaciones más grandes de la actualidad.

En términos de beneficios y desventajas potenciales, la superinteligencia será más poderosa que otras tecnologías con las que los humanos han tenido que lidiar en el pasado. Podemos tener un futuro más próspero, pero debemos gestionar el riesgo para llegar allí. Dado el potencial de riesgo, no podemos simplemente ser reactivos. La energía nuclear es un ejemplo histórico común de una tecnología de esta naturaleza; la biología sintética es otro.

También debemos eliminar el riesgo de las tecnologías de inteligencia artificial actuales, pero la superinteligencia requiere un manejo y una coordinación especiales.

Un punto de partida

Hay una serie de ideas que son importantes para nuestras buenas posibilidades de navegar con éxito este desarrollo; aquí proporcionamos nuestros primeros pensamientos sobre tres de ellos.

Primero, necesitamos cierto grado de coordinación entre los principales esfuerzos de desarrollo para garantizar que el desarrollo de la superinteligencia avance de una manera que nos mantenga a salvo y ayude a que estos sistemas se integren sin problemas en la sociedad. Esto se puede lograr de muchas maneras; los principales gobiernos del mundo podrían establecer un programa en el que formen parte muchos de los esfuerzos actuales, o podríamos acordar colectivamente (con el apoyo de la nueva organización que se propone a continuación) que las capacidades de IA de vanguardia La tasa de crecimiento de la empresa debe limitarse a una cierta tasa cada año.

Por supuesto, también se espera que las empresas individuales actúen de manera responsable y con estándares extremadamente altos.

En segundo lugar, podemos terminar necesitando algo parecido a la IAEA (Agencia Internacional de Energía Atómica) para los esfuerzos de superinteligencia; cualquier esfuerzo más allá de un cierto umbral de capacidades (o recursos informáticos, etc.) tendría que ser controlado por una autoridad internacional, requiriendo un auditoría, pruebas de cumplimiento de estándares de seguridad, limitación de implementación y niveles de seguridad, y más. El seguimiento de la computación y el uso de energía ayudaría mucho y nos daría alguna esperanza de que esta idea sea realmente factible. Como primer paso, las empresas podrían acordar voluntariamente comenzar a implementar elementos que tal agencia podría requerir algún día, mientras que como segundo paso, los países individuales podrían implementarlos. Es importante que una agencia de este tipo se centre en reducir los riesgos que existen, en lugar de cuestiones que deberían dejarse en manos de países individuales, como definir lo que se le debe permitir decir a AI.

Tercero, necesitamos capacidades tecnológicas para asegurar la superinteligencia. Este es un problema de investigación abierto, y nosotros y otros estamos haciendo mucho trabajo.

lo que no está en el alcance

Creemos que es importante permitir que las empresas y los proyectos de código abierto desarrollen modelos por debajo de un umbral significativo de capacidad sin el tipo de regulación que describimos aquí (incluidos mecanismos onerosos como licencias o auditorías).

Los sistemas de hoy crearán un valor enorme en el mundo y, si bien tienen riesgos, esos niveles de riesgo parecen estar en consonancia con otras tecnologías de Internet, y lo que la sociedad podría hacer parece apropiado.

Por el contrario, los sistemas en los que nos enfocamos tendrán el impulso para superar cualquier tecnología que aún no se haya creado, y debemos tener cuidado de no restar importancia al enfoque en tecnologías que están muy por debajo de eso al aplicarles estándares similares.

Opinión pública y potencial

Pero la gobernanza de los sistemas más robustos y las decisiones sobre su implementación deben contar con una fuerte supervisión pública. Creemos que las personas de todo el mundo deberían determinar democráticamente los límites y los valores predeterminados de los sistemas de IA. Todavía no sabemos cómo diseñar tal mecanismo, pero planeamos experimentar con su desarrollo. Seguimos creyendo que en estas amplias escalas, los usuarios individuales deberían tener un gran control sobre el comportamiento de la IA que utilizan.

Dados los riesgos y las dificultades, vale la pena considerar por qué estamos construyendo esta tecnología.

En OpenAI tenemos dos razones fundamentales. Primero, creemos que esto conducirá a un mundo mejor de lo que imaginamos hoy (hemos visto ejemplos tempranos de esto en áreas como la educación, el trabajo creativo y la productividad personal). El mundo enfrenta muchos problemas y necesitamos más ayuda para resolverlos, esta tecnología puede mejorar nuestra sociedad y la capacidad creativa de todos los que usan estas nuevas herramientas seguramente nos sorprenderá. El crecimiento económico y la mejora en la calidad de vida serán fenomenales.

En segundo lugar, creemos que prevenir la superinteligencia tendría riesgos y dificultades poco intuitivos. Dado que los beneficios son tan grandes, el costo de construirlo está cayendo cada año, la cantidad de jugadores que lo están construyendo está aumentando rápidamente y es esencialmente parte del camino tecnológico en el que estamos, detenerlo requiere algo parecido a un sistema de vigilancia global. , Incluso esto no está garantizado que funcione. Así que tenemos que hacerlo bien.