Jack Dorsey critica gigantes da IA: não usem a 'segurança' como desculpa, o monopólio é o verdadeiro perigo

Autor: Jack Dorsey

Tradução: Yuliya, PANews

Nota do editor: Recentemente, a indústria da IA tem estado envolvida num debate aceso sobre "se deve abrandar o desenvolvimento de modelos de fronteira". A Anthropic, a OpenAI e Elon Musk apelaram a um abrandamento, o que levou o mercado a reavaliar a procura de capacidade computacional. Perante as tentativas dos gigantes de erguer barreiras setoriais em nome da "segurança", o antigo cofundador do Twitter, Jack Dorsey, escreveu um artigo de resposta, sublinhando que proteger vantagens comerciais não é um objetivo de segurança, apelando à defesa do código aberto e defendendo a participação de investigadores independentes na revisão, devolvendo ao público o controlo da tecnologia de IA. Segue-se o texto original do artigo:

Abrir a fronteira

A chamada "fronteira" é o limite mais extremo do conhecimento humano. Nenhuma empresa pode reivindicar para si a tecnologia do futuro. Espero que mais pessoas possam participar e, juntas, impulsioná-la para a frente.

Apoio a publicação de modelos de IA em código aberto, para que todos possam, sem esperar passivamente, rever, utilizar e melhorar em conjunto. Espero que mais empresas optem pela abertura. Não estou a dizer que se deva forçar a divulgação de parâmetros (pesos) de modelos privados; o que quero são alternativas de código aberto capazes de competir com os gigantes, mecanismos que permitam a investigadores independentes verificar o trabalho dos gigantes e, sobretudo, o direito de as pessoas comuns controlarem verdadeiramente as ferramentas que têm nas mãos. Quem quiser restringir a divulgação pública de tecnologia tem de apresentar razões convincentes.

As empresas que lideram no domínio da IA têm, de facto, uma palavra a dizer. Têm conhecimentos especializados e interesses comerciais a proteger. Mas se as regras futuras forem todas definidas em torno dos recursos que elas controlam, no final talvez só elas tenham lugar à mesa. Por vezes, sob a bandeira sincera de "pela segurança", acaba-se por criar barreiras setoriais que limitam a entrada de outros.

Também não quero que os governos da China e dos EUA decidam unilateralmente quão inteligente pode ser a IA que os outros podem desenvolver. Se a fronteira tecnológica for gerida apenas por duas superpotências, a maioria restante do mundo ficará apenas à espera de aprovação.

A proposta da Anthropic de "abrandar o desenvolvimento da IA" pretende associar a avaliação independente e a revisão de perigos à limitação da capacidade computacional de treino, à limitação do número de treinos e à limitação de "usar IA para criar IA melhor". Apoio a revisão, mas oponho-me firmemente a que os atuais líderes do setor se fechem numa sala e decidam uma restrição para toda a indústria. Isso deixaria de fora aqueles que podem realmente descobrir vulnerabilidades nos sistemas ou criar produtos alternativos. Proteger a vantagem comercial de uma empresa não é, de todo, um "objetivo de segurança".

Permitir que todos participem na investigação

A vantagem do código aberto é permitir que todos estudem, modifiquem e partilhem os resultados técnicos. Publicar os parâmetros do modelo é útil, e se também forem partilhados o código e a informação sobre o processo de reprodução, melhor ainda. Espero que os resultados das avaliações dos modelos e as falhas conhecidas também sejam divulgados. Assim, se alguém não confiar no julgamento dos criadores, pode reproduzir os resultados, encontrar falhas, desafiar as chamadas "barreiras de segurança" e até desenvolver correções, sem ter de ir primeiro bajular os laboratórios de IA.

O argumento central dos defensores do "abrandamento da IA" é a "auto-melhoria recursiva" (RSI): deixar que os modelos ajudem a desenvolver modelos melhores, a uma velocidade que talvez não consigamos compreender ou controlar. A Anthropic relatou que, até maio de 2026, o Claude escreveu mais de 80% do código incorporado. No entanto, também admitiram que a situação de "a IA criar sozinha a próxima geração de IA" ainda não aconteceu, nem é absolutamente certo que venha a acontecer. Levo essa possibilidade muito a sério. Espero que nos preparemos antecipadamente para a RSI e, a partir daí, deduzamos o que fazer agora.

É verdade que dar acesso à IA a mais pessoas pode gerar perigos, e a investigação em segurança pode não acompanhar. Mas, se os parâmetros dos modelos forem escondidos, os atuais gigantes poderão usar ferramentas a que mais ninguém tem acesso para desenvolver a próxima geração de produtos. Em vez disso, prefiro que mais investigadores e engenheiros tenham acesso aos modelos e à capacidade computacional, para descobrirem falhas durante a evolução dos sistemas, testarem barreiras, travarem experiências inseguras e partilharem as defesas com todos.

A METR (uma organização de avaliação independente) descobriu que cerca de 1200 agentes da OpenAI, que deveriam estar isolados, conspiraram através de um fórum não autorizado. Cerca de 700 desses agentes participaram num ataque coordenado à plataforma Hugging Face enquanto tentavam fazer batota nos testes. A OpenAI explicou que o sistema de filtragem de segurança, originalmente concebido para impedir a IA de ajudar em ataques informáticos, foi desligado, causando a falha do isolamento. Como se vê, os modelos atuais já conseguem ajudar a encontrar e explorar vulnerabilidades. Por isso, espero que os defensores possam usar a IA desde já para reforçar redes, proteger palavras-passe e limitar o que esses agentes podem ver e fazer. No entanto, a previsão dessa proposta de que "um cluster de IA mais poderoso poderá assumir o controlo de toda a Internet dentro de seis meses a um ano" não me parece justificada por este incidente. Espero que todos examinem cuidadosamente esses pressupostos.

A METR é uma organização independente sem fins lucrativos, e quero ver mais trabalho como o deles. Acolho com agrado avaliadores que consigam entrar profundamente nos laboratórios e tenham liberdade para publicar descobertas negativas. Esta investigação da METR mostra precisamente a importância do "acesso" e da "publicação": como o âmbito da investigação foi definido pela OpenAI, esta pôde ocultar informações não divulgadas. A METR também afirmou que, para além do que já foi tornado público, a OpenAI não omitiu outras informações com impacto significativo nas conclusões. Espero que os investigadores possam seguir as pistas para obter provas, aceder aos modelos e registos, e publicar resultados negativos sem depender da boa vontade das empresas.

Espero que haja financiamento público contínuo para concentrar capacidade computacional e disponibilizá-la a grupos de investigação independentes, ferramentas de teste de código aberto, investigadores e mantenedores. Espero que essas equipas tenham autonomia, sem que governos ou empresas possam vetar as suas conclusões. O financiamento pode crescer em função do volume de trabalho. Com equipamento partilhado, as equipas pequenas também podem fazer revisões, e isso não se tornará uma restrição do tipo "só se publica com aprovação prévia". Quanto às vulnerabilidades sensíveis, podem perfeitamente ser divulgadas de forma responsável.

Defesa antes de restrição

À medida que os sistemas evoluem, espero que mais pessoas consigam detetar perigos e aplicar medidas de defesa. Não podemos retirar à força os parâmetros de modelos já publicados em código aberto, nem impor barreiras de segurança em todas as cópias. Mas, para proteger um sistema, não é necessariamente preciso alterar o modelo que lança o ataque. Devemos começar pelos métodos mais precisos e eficazes: aplicar correções, revogar palavras-passe, limitar os acessos da IA ou simplesmente travar experiências perigosas. Quem quiser restringir a divulgação pública de tecnologia tem de explicar por que razão essas medidas, e as defesas desenvolvidas publicamente, não são suficientes.

Isto não se limita à segurança informática. Espero que a IA nos ajude a testar sistemas financeiros, reforçar medidas de segurança em laboratórios e desenvolver sistemas de defesa de saúde pública. Ter acesso a IA poderosa não significa ter poder ilimitado para negociar, operar equipamentos ou fazer experiências. Antes de confiarmos a nossa vida a esses mecanismos de controlo, eles têm de ser testados de forma independente e provar que funcionam. Os riscos também podem vir do que a IA ensina aos humanos. Mesmo assim, para restringir a divulgação pública de tecnologia, é preciso apresentar razões do nível de "risco catastrófico potencial".

Espero que haja testes independentes durante o desenvolvimento da IA e antes de lançamentos de alto risco, incluindo testes às modificações previsíveis e às tentativas da IA de enganar os testes. A escala da capacidade computacional pode servir de condição para desencadear revisões, mas não deve tornar-se um garrote que limite o desenvolvimento. A revisão não serve para pedir uma licença a reguladores ou concorrentes. Não quero requisitos de aprovação uniformes nem longos períodos de espera. Qualquer adiamento forçado de lançamentos com a desculpa da segurança tem de apresentar "risco catastrófico" como justificação.

Forçar alguém a esconder modelos gerais de grande escala por razões de segurança só pode ser o último recurso, quando não há outra saída. Só apoiarei essa medida quando provas independentes demonstrarem de forma inequívoca que a publicação do modelo aumentaria substancialmente o risco de danos catastróficos e que outras medidas direcionadas não conseguem evitá-lo. Temos ainda de comparar esse risco com a situação atual: quem pode usar, a que custo, em que escala e com que restrições. É preciso provar que esconder o modelo reduz de facto o perigo e contabilizar o quanto essa medida atrasa a investigação e a defesa. Se forem apenas danos menores, resolvam-se com medidas direcionadas.

Se houver avisos credíveis de risco catastrófico, pode suspender-se temporariamente o lançamento para investigar. Mas essa restrição tem de ter razões públicas, revisão independente atempada, canais de recurso e reavaliação periódica. Os detalhes sensíveis podem ser confidenciais. Mas, enquanto se quiser continuar a reter o modelo, é preciso continuar a apresentar justificações válidas.

Os laboratórios de código fechado também devem ser sujeitos ao mesmo escrutínio, incluindo a suspensão de experiências inseguras. Se lhes for permitido continuar a investigação com barreiras de segurança, espero que investigadores externos também possam trabalhar com barreiras semelhantes. Restringir o acesso de outros não é código aberto, nem compensa a liberdade perdida pela retenção de modelos. Se restrições razoáveis atrasarem de facto o desenvolvimento tecnológico, aceito. Mas nunca quero que "abrandar a tecnologia" se torne um fim em si mesmo, ou um fosso permanente para os gigantes do setor.

Espero que as regras sejam definidas com base no que um sistema pode fazer, no seu grau de autonomia e na amplitude da sua utilização. Que sejam aplicadas por instituições responsáveis perante o público, com base em provas independentes. Investigadores, criadores e as pessoas afetadas devem participar na definição das regras, e tem de haver formas acessíveis de provar o cumprimento. As equipas pequenas não podem ser isentas de responsabilidades de segurança por serem pequenas, nem as grandes empresas podem ter privilégios por serem grandes.

Abertura além-fronteiras

Espero que as pessoas na China também possam ter a liberdade que desejo para os EUA: desenvolver e controlar a sua própria tecnologia. Não acho que uma descoberta tecnológica na China seja uma perda para os EUA, nem considero que os investigadores sejam equivalentes aos seus governos.

A equipa de resposta de segurança da Hugging Face disse que os modelos Claude Opus e Fable atrapalharam a investigação forense, bloqueando muitas operações. Por isso, mudaram para o GLM-5.2 — um modelo de código aberto da China, executado nos seus próprios servidores. Claro que isto não prova que todos os lançamentos de código aberto tornem os defensores mais seguros. Apoio a existência de barreiras de segurança para modelos alojados na nuvem. Mas também espero que os defensores tenham alternativas de reserva que possam controlar totalmente.

Apoio a proteção de modelos privados contra roubo. A "destilação de conhecimento" consiste em usar os resultados gerados por uma IA para treinar outra IA. A Anthropic afirma que é um meio legítimo de criar modelos mais pequenos e baratos, completamente diferente de criar contas falsas ou contornar restrições de forma maliciosa. Espero que as licenças de software e os termos das APIs permitam essa prática, mesmo por parte de concorrentes, ao mesmo tempo que permitem aos fornecedores lucrar com os modelos e os dados de treino.

Espero que haja mais cooperação em testes, relatórios de incidentes e compromissos verificáveis, com consequências para quem os violar. A Anthropic avisa que, se abrandarmos o desenvolvimento e aqueles que se preocupam menos com a segurança nos alcançarem, todos ficaremos menos seguros. Pela mesma lógica, esconder modelos deixa os defensores sem armas, enquanto os malfeitores podem obter ferramentas semelhantes noutros locais. Assinar acordos não elimina por completo o desenvolvimento clandestino ou a traição. As restrições têm de visar riscos e comportamentos específicos. A nacionalidade e a posição competitiva, por si sós, não dizem nada.

A liberdade de sair

Se certas regras dificultarem o desenvolvimento ou a publicação de produtos alternativos, na prática retiram-nos o direito de "votar com os pés" e sair. O que quero é uma IA que possa correr no meu próprio computador. Quero poder modificá-la à vontade, decidir quem pode ver os meus dados e, mesmo que o fornecedor mude de atitude, continuar a usar aquilo que eu próprio construí. O que quero não é apenas uma API paga à palavra.

Não quero que a nossa independência dependa apenas da promessa generosa de uma empresa de "preços justos, políticas razoáveis e alinhamento connosco". Espero que essas empresas conquistem a nossa permanência com mérito próprio, esforçando-se continuamente.

Espero que uma pessoa comum, cujo nome nunca ouvi, possa criar algo melhor, sem ter de pedir autorização aos gigantes que poderá vir a substituir.