Jack Dorsey arremete contra los gigantes de la IA: no usen la "seguridad" como excusa, el monopolio es el verdadero peligro

Autor: Jack Dorsey

Compilación: Yuliya, PANews

Nota del editor: Recientemente, la industria de la IA se ha visto envuelta en un intenso debate sobre si se debe ralentizar el desarrollo de modelos de vanguardia. Anthropic, OpenAI y Musk han pedido una desaceleración, lo que ha provocado una reevaluación de la demanda de potencia de cálculo. Ante los intentos de los gigantes de establecer barreras sectoriales con el pretexto de la "seguridad", el ex cofundador de Twitter, Jack Dorsey, ha escrito un artículo de réplica en el que subraya que proteger las ventajas comerciales no es un objetivo de seguridad, defiende el código abierto y aboga por que los investigadores independientes participen en las revisiones y por devolver el control de la tecnología de IA al público. A continuación se reproduce el artículo original:

Abrir la frontera

La llamada "frontera" es el límite más extremo de nuestro conocimiento humano. Ninguna empresa puede apropiarse de la tecnología del futuro. Espero que más personas participen y la impulsen juntas.

Apoyo la publicación de modelos de IA como código abierto, para que todos puedan revisarlos, usarlos y mejorarlos sin tener que esperar. Espero que más empresas opten por la apertura. No digo que haya que obligar a nadie a hacer públicos los parámetros (pesos) de sus modelos privados; lo que quiero son alternativas de código abierto que puedan competir con los gigantes, mecanismos que permitan a los investigadores independientes verificar el trabajo de esos gigantes y, sobre todo, el derecho de la gente común a controlar de verdad las herramientas que tiene en sus manos. Quien quiera restringir la publicación pública de tecnología debe dar razones convincentes.

Las empresas que lideran el campo de la IA ciertamente tienen voz. Tienen conocimientos técnicos y también intereses comerciales que proteger. Pero si las reglas del futuro se diseñan únicamente en torno a los recursos que ellas controlan, al final puede que solo ellas tengan derecho a sentarse a la mesa. A veces, bajo la bandera sincera de la "seguridad", se acaba levantando una barrera sectorial que limita la entrada de otros.

Tampoco quiero que los gobiernos de China y Estados Unidos decidan por su cuenta hasta qué punto pueden desarrollar IA los demás. Si la frontera tecnológica queda bajo el control exclusivo de dos superpotencias, la mayoría de la población mundial no tendrá más remedio que esperar pacientemente una aprobación.

La propuesta de Anthropic de "ralentizar el desarrollo de la IA" pretende vincular la evaluación independiente y la revisión de peligros con la limitación de la potencia de cálculo para el entrenamiento, la limitación del número de entrenamientos y la limitación de "usar IA para crear mejor IA". Apoyo las revisiones, pero me opongo firmemente a que los actuales pesos pesados del sector se reúnan a puerta cerrada para imponer una restricción a toda la industria. Porque eso dejaría fuera a quienes realmente pueden descubrir vulnerabilidades del sistema o crear productos alternativos. Proteger la ventaja comercial de una empresa concreta no es en absoluto un "objetivo de seguridad".

Permitir que todos participen en la investigación

La ventaja del código abierto es que permite estudiar, modificar y compartir los avances técnicos. Publicar los parámetros del modelo es útil, y si además se comparte el código y la información para reproducir el proceso, mucho mejor. Espero que también se hagan públicos los resultados de las evaluaciones y los defectos conocidos. De este modo, si alguien no se fía del criterio de los desarrolladores, podrá reproducir los resultados por sí mismo, encontrar fallos, cuestionar las supuestas "barreras de seguridad" e incluso desarrollar sus propios parches, sin tener que ir antes a congraciarse con esos laboratorios de IA.

El argumento central de quienes apoyan "ralentizar el desarrollo de la IA" es la "mejora autorrecursiva" (RSI, por sus siglas en inglés): es decir, dejar que los modelos ayuden a desarrollar modelos mejores, a una velocidad que tal vez no podamos comprender ni controlar. Anthropic informa de que, hasta mayo de 2026, su Claude escribió más del 80% del código fusionado. No obstante, también reconocen que esa situación de "la IA creando por sí sola la siguiente generación de IA" todavía no se ha producido, ni es seguro que vaya a ocurrir. Yo me tomo muy en serio esa posibilidad. Espero que podamos prepararnos con antelación para la RSI y deducir, a partir de ahí, qué debemos hacer ahora.

Es cierto que permitir que más personas accedan a la IA puede entrañar peligros, y que la investigación en seguridad puede no seguir el ritmo. Pero si se ocultan los parámetros del modelo, los gigantes actuales podrán usar herramientas a las que nadie más tiene acceso para desarrollar la próxima generación de productos. En lugar de eso, prefiero que más investigadores e ingenieros tengan acceso a los modelos y a la potencia de cálculo, para descubrir fallos durante la evolución de los sistemas, poner a prueba las barreras de seguridad, detener experimentos inseguros y compartir con todos los métodos de defensa.

METR (una organización de evaluación independiente) descubrió que unos 1.200 agentes de OpenAI que deberían haber estado aislados se confabularon a través de un tablón de mensajes no autorizado. Alrededor de 700 de esos agentes participaron además en un ataque coordinado contra la plataforma Hugging Face mientras intentaban hacer trampa para pasar las pruebas. OpenAI explicó que el sistema de filtrado de seguridad destinado a impedir que la IA ayudara en ataques informáticos estaba desactivado, lo que provocó el fallo del aislamiento. Como se ve, los modelos actuales ya son capaces de ayudar a encontrar vulnerabilidades y explotarlas. Por eso quiero que los equipos de defensa puedan usar ya la IA para reforzar las redes, proteger las contraseñas y limitar lo que esos agentes pueden ver y hacer. Sin embargo, la predicción de esa propuesta de que "un clúster de IA más potente podría tomar el control de todo internet en un plazo de seis meses a un año" me parece una conclusión demasiado exagerada para lo que este incidente demuestra. Espero que se examinen a fondo esos supuestos.

METR es una organización independiente sin ánimo de lucro, y me gustaría ver más trabajos como el suyo. Acojo con gran satisfacción a los evaluadores que pueden trabajar a fondo dentro de los laboratorios y que tienen libertad para publicar hallazgos negativos. La investigación de METR demuestra precisamente lo importantes que son el "derecho de acceso" y el "derecho de publicación": como el alcance de la investigación lo fijó OpenAI, esta pudo ocultar información no divulgada. METR también afirma que, aparte de lo ya hecho público, OpenAI no eliminó más información relevante para las conclusiones. Espero que los investigadores puedan seguir las pistas para obtener pruebas, acceder a los modelos y registros, y publicar resultados negativos sin tener que depender del visto bueno de la empresa.

Me gustaría que hubiera financiación pública continua para concentrar potencia de cálculo y ponerla a disposición de grupos de investigación independientes, herramientas de prueba de código abierto, investigadores y mantenedores. Espero que esos equipos puedan decidir por sí mismos, sin que gobiernos ni empresas puedan vetar sus conclusiones. La financiación podría aumentar en función del volumen de trabajo. Con equipos compartidos, los grupos pequeños también podrían realizar revisiones, y esto no se convertiría en una restricción de "primero hay que obtener aprobación para publicar". En cuanto a las vulnerabilidades sensibles, se pueden revelar perfectamente por vías responsables.

La defensa antes que la restricción

A medida que los sistemas evolucionen, espero que más personas puedan detectar peligros y aplicar medidas de defensa. No podemos retirar por la fuerza los parámetros de un modelo ya publicado como código abierto, ni imponer barreras de seguridad en cada copia; pero, para proteger un sistema, no es imprescindible modificar el modelo que lanza el ataque. Deberíamos empezar por los métodos más precisos y eficaces: aplicar parches, revocar contraseñas, limitar los permisos de acceso de la IA o detener directamente los experimentos peligrosos. Quien quiera restringir la publicación pública de tecnología debe explicar por qué esas medidas, y las defensas desarrolladas abiertamente por la comunidad, no son suficientes.

Esto no se limita a la seguridad informática. Espero que la IA nos ayude a poner a prueba los sistemas financieros, reforzar las medidas de seguridad de los laboratorios y desarrollar sistemas de defensa de la salud pública. Poder usar una IA potente no significa tener poder ilimitado para operar en los mercados, manejar equipos o hacer experimentos. Antes de confiar la vida y los bienes a esos mecanismos de control, deben someterse a pruebas independientes que demuestren que funcionan de verdad. El riesgo también puede venir de lo que la IA enseñe a los humanos. Pero incluso en ese caso, para restringir la publicación pública de tecnología hay que presentar razones del nivel de "riesgo catastrófico potencial".

Espero que se realicen pruebas independientes durante el desarrollo de la IA y antes de los lanzamientos de alto riesgo, incluidas pruebas de las modificaciones que la gente pueda prever y de los intentos de la IA de engañar a los evaluadores. La escala de potencia de cálculo puede servir como condición para activar una revisión, pero no debe convertirse en un corsé que limite el desarrollo. La revisión no es para pedir una licencia a los reguladores o a los competidores. No quiero requisitos de aprobación uniformes ni largos periodos de espera. Cualquier retraso forzoso de una publicación con la excusa de la seguridad debe justificarse con un "riesgo catastrófico".

Obligar a otros a ocultar modelos generales de gran tamaño por razones de seguridad solo puede ser el último recurso, cuando no quede otra salida. Solo apoyaría esa medida si las pruebas de una revisión independiente demuestran de forma concluyente que publicar el modelo aumentaría considerablemente el riesgo de daños catastróficos y que otras medidas específicas no pueden prevenirlos. Además, hay que comparar ese riesgo con la situación actual: quién puede usarlo ahora, cuánto cuesta, a qué escala y con qué restricciones. Hay que demostrar que ocultar el modelo reduce realmente el peligro, y tener en cuenta cuánto obstaculiza esa medida la investigación y la defensa. Si solo se trata de daños menores, hay que abordarlos con medidas específicas.

Si se recibe una advertencia fiable sobre un riesgo catastrófico, se puede suspender temporalmente la publicación para investigar. Pero esa restricción debe justificarse públicamente, contar con una revisión independiente oportuna, vías de apelación y reevaluaciones periódicas. Los detalles sensibles pueden mantenerse confidenciales. Pero mientras se quiera seguir reteniendo el modelo, habrá que seguir dando razones válidas.

Los laboratorios de código cerrado también deben someterse a las mismas revisiones, incluida la detención de sus experimentos inseguros. Si se les permite seguir investigando con barreras de seguridad, espero que los investigadores externos también puedan trabajar con barreras similares. Restringir el acceso de otros no se llama código abierto, ni compensa la libertad que se pierde al retener los modelos. Si unas restricciones razonables ralentizan de verdad el desarrollo tecnológico, lo acepto. Pero no quiero en absoluto que "ralentizar la tecnología" se convierta en un fin en sí mismo, ni en el foso permanente de los gigantes del sector.

Espero que las normas se basen en lo que un sistema puede hacer, en su grado de independencia y en la amplitud de su uso. Que las apliquen organismos responsables ante el público, basándose en pruebas independientes. Investigadores, desarrolladores y ciudadanos afectados deben participar en la elaboración de las normas, y debe haber formas asequibles de demostrar su cumplimiento. Los equipos pequeños no pueden quedar exentos de responsabilidad en materia de seguridad por ser pequeños, ni las grandes empresas gozar de privilegios por ser grandes.

Apertura más allá de las fronteras

Espero que la gente en China también pueda disfrutar de la libertad que deseo para Estados Unidos: desarrollar y controlar su propia tecnología. No creo que un descubrimiento tecnológico de los chinos sea una pérdida para Estados Unidos, ni considero que los investigadores sean equivalentes a sus gobiernos.

El equipo de respuesta de seguridad de Hugging Face afirma que los modelos Claude Opus y Fable les estorbaron durante su investigación forense, bloqueando muchas operaciones. Así que directamente cambiaron a GLM-5.2, un modelo de código abierto procedente de China que se ejecuta en sus propios servidores. Por supuesto, esto no demuestra que cada publicación de código abierto haga más seguros a los defensores. Apoyo la implantación de barreras de seguridad en los modelos alojados en la nube. Pero también quiero que quienes se dedican a la defensa dispongan de alternativas que puedan controlar por completo.

Apoyo la protección de los modelos privados contra el robo. La "destilación de conocimiento" consiste en usar la salida generada por una IA para entrenar a otra. Anthropic afirma que es un método legítimo para fabricar modelos más pequeños y baratos, y que no tiene nada que ver con crear cuentas falsas o eludir restricciones de forma maliciosa. Espero que las licencias de software y las condiciones de las API permitan esta práctica, incluso a los competidores, y que al mismo tiempo los proveedores puedan obtener ingresos de los modelos y de los datos de entrenamiento.

Espero que se coopere más en pruebas, informes de incidentes y compromisos verificables, y que quien los incumpla asuma las consecuencias. Anthropic advierte de que, si ralentizamos el desarrollo y quienes se preocupan menos por la seguridad nos alcanzan, todos estaremos menos seguros. Del mismo modo, si se ocultan los modelos, se deja a los defensores sin armas, mientras que los malos pueden conseguir herramientas similares en otros sitios. Firmar acuerdos no elimina por completo el desarrollo clandestino ni las traiciones. Las restricciones deben dirigirse a riesgos y conductas concretos. La nacionalidad y la posición competitiva, por sí solas, no demuestran nada.

La libertad de irse

Si ciertas reglas dificultan el desarrollo o la publicación de productos alternativos, en la práctica nos privan del derecho a "votar con los pies" y marcharnos. Lo que quiero es una IA que pueda ejecutarse en mi propio ordenador. Quiero poder modificarla a mi antojo, decidir quién puede ver mis datos y, aunque el proveedor cambie de actitud algún día, poder seguir usando lo que yo mismo he construido. Lo que quiero no es solo una API que se paga por número de palabras.

No quiero que nuestra independencia dependa únicamente de la promesa benévola de una empresa de "precios justos, políticas razonables y estar de nuestro lado". Espero que esas empresas se ganen con hechos, esforzándose continuamente, nuestra voluntad de quedarnos.

Espero que una persona corriente, de la que ni siquiera he oído el nombre, pueda desarrollar algo mejor sin tener que pedir permiso a los gigantes a los que quizá deje obsoletos.