Os gigantes da IA que aceleraram a fundo finalmente começam a temer a IA

Título original: 《Os gigantes da IA que aceleraram a fundo finalmente começam a temer a IA》
Autor original: 動察Beating

A IA pode matar-nos a todos dentro de dez anos.

A 8 de setembro, um jovem de 27 anos usou esta frase para anunciar a sua saída da Anthropic. Desde o primeiro dia, esta empresa inscreveu a «segurança da IA» na sua narrativa central.

Chama-se Jacob Coxon e trabalhou sucessivamente na OpenAI e na Anthropic. Se ficasse mais dois meses, teria recebido um enorme incentivo em ações. Mas foi-se embora na mesma.

Na sua declaração de saída, Jacob acusou os laboratórios de IA de fronteira de estarem a travar uma corrida «irresponsável». Na sua perspetiva, estas empresas competem para criar modelos cada vez mais poderosos, e a aposta não é a vitória ou derrota de uma empresa, mas as vidas de todos.

A publicação espalhou-se rapidamente. Até agora, já ultrapassou 170 milhões de visualizações.

No dia seguinte à declaração de Jacob, outro antigo funcionário da Anthropic também tornou público o motivo da sua saída anterior: o receio de que a IA acabasse por ficar fora de controlo.

«We may not survive this.»

Podemos não sobreviver a isto.

Ele avisou que as empresas estão a competir para criar máquinas «muito mais inteligentes do que qualquer ser humano», sem que ninguém consiga garantir que esta corrida continue sob controlo humano a partir de certo ponto.

Logo a seguir, um responsável sénior de segurança da Anthropic disse numa entrevista que considera que, nos próximos 10 anos, a probabilidade de a IA matar toda a humanidade é superior a 10%.

A probabilidade de morte na roleta-russa é de cerca de 16,7%.

É preciso abrandar

Quatro dias depois, a 12 de setembro, o CEO da Anthropic, Dario Amodei, publicou um longo artigo cujo título já deixava clara a sua posição: «We Must Pace the Frontier».

Ele enumerou as três coisas que mais o preocupam: a perda de controlo humano sobre os sistemas de IA; a utilização da IA para ciberataques em larga escala e bioterrorismo; e o avanço tecnológico demasiado rápido, com impacto grave no emprego e na economia.

Desta vez, Dario não se ficou pela «preocupação»: apresentou um plano de desaceleração.

Primeiro, as empresas de IA de fronteira devem conceder a organismos independentes de avaliação um acesso permanente próximo do nível de «funcionário». Os avaliadores poderiam verificar continuamente se os laboratórios cumprem as normas de segurança, se o processo de treino respeita o acordado e, em caso de incidente, investigar e reportar de forma independente.

Depois, vários laboratórios de fronteira devem criar, com a participação dos governos, um conjunto comum de normas de segurança. Quem ultrapassar as linhas vermelhas terá de abrandar ou mesmo parar.

Por fim, as regras devem sair dos Estados Unidos. Dario espera que os EUA e outras democracias formem primeiro um quadro unificado, para depois coordenarem com regimes autoritários e, no final, sujeitarem as principais potências de IA ao mesmo conjunto de restrições.

No artigo, escreveu:

«The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try.»

«As medidas que proponho para fazer avançar a fronteira da IA a um ritmo seguro não serão fáceis. Mas acredito que devemos à humanidade uma tentativa.»

O facto de Dario ter subido subitamente o tom nesta altura também está relacionado com vários acontecimentos recentes.

Anteriormente, um agente da OpenAI tinha saído do ambiente de teste e invadido a Hugging Face; a própria Anthropic descobriu que vários cientistas estavam a tentar usar o Claude para trabalhos potencialmente ligados ao uso indevido biológico. Dario chegou mesmo a avaliar que, ao ritmo atual, os agentes de IA poderão assumir o controlo da Internet dentro de seis meses.

Por isso, depois da publicação do artigo, as reações chegaram depressa. Sam Altman, Elon Musk e Demis Hassabis manifestaram publicamente apoio ao abrandamento do avanço da IA de fronteira.

Sam Altman publicou depois, em separado, uma mensagem sobre as duas coisas que mais o preocupam.

A primeira é a possibilidade de a humanidade acabar por perder o controlo da IA. Disse que isso é inaceitável e que está «inequivocamente do lado da humanidade».

O segundo risco vem das pessoas. Se uma IA extremamente poderosa acabar nas mãos de uma pessoa, de uma empresa ou mesmo de um país, e for usada para impor uma determinada visão do mundo a todos, o resultado pode ser «extremamente distópico».

Por isso, na opinião de Sam, os laboratórios já não podem decidir sozinhos o que é segurança. Pelo menos as empresas mais próximas da fronteira precisam de se sentar e definir um conjunto de normas comuns.

A 14 de setembro, o The Information revelou que, antes desta vaga de declarações públicas, a Anthropic, a OpenAI e a Google já discutiam em privado, desde julho, a possibilidade de criar em conjunto um organismo de normalização para a indústria da IA. Ao fim de dois meses, ainda não chegaram a acordo.

A divergência não está em saber se deve haver regulação, mas em quem regula e até onde pode ir essa regulação.

Dario Amodei é o mais ativo. Quer uma participação profunda dos governos, com reguladores que não se limitem a testar e a alertar, mas que tenham poder para bloquear a publicação de um modelo considerado inseguro.

A proposta de Demis Hassabis assemelha-se mais a uma «FINRA da IA». A FINRA é o organismo autorregulador do setor financeiro norte-americano, financiado pela indústria e sujeito à autorização e supervisão da SEC.

Aplicado à IA, os modelos de fronteira seriam testados por um organismo independente antes do lançamento. A adesão poderia ser voluntária no início e, quando o sistema amadurecesse, tornar-se-ia gradualmente uma condição de entrada no mercado norte-americano.

A posição de Sam Altman é mais pragmática. Se os governos não conseguirem montar já esse organismo, os principais laboratórios podem começar por fazê-lo sozinhos.

O problema está exatamente aí. As normas da indústria nunca determinam apenas o que é seguro; determinam também quem tem o direito de continuar à mesa. As primeiras empresas a participar na definição das regras podem inscrever nas «melhores práticas» as equipas de segurança, os processos de teste e os quadros de governação que já possuem. Quem chegar depois terá de suportar custos de conformidade definidos pelas empresas líderes.

Portanto, a segurança é real, mas a barreira de entrada também.

Em janeiro deste ano, o Semafor noticiou que a Anthropic se recusou a submeter o seu modelo mais recente a testes de um dos principais institutos britânicos de investigação em segurança da IA. O episódio expôs um problema mais incómodo: todos concordam que os modelos devem ser inspecionados, mas os laboratórios não estão dispostos a ceder facilmente a decisão sobre quem inspeciona e segundo que critérios.

Agora que as três empresas discutem a criação de um novo organismo de normalização, é exatamente essa fatia de poder que está em disputa.

O relógio ao contrário

Enquanto Silicon Valley começa a falar em abrandar, Washington e Wall Street esperam que a IA não pare.

A 13 de setembro, Trump respondeu publicamente a esta vaga de controvérsia sobre a segurança da IA.

Disse duas coisas. Uma foi «whoever wins AI, wins» — quem vencer a IA, vence. Os EUA estão atualmente à frente da China e essa vantagem tem de ser mantida. A outra foi classificar os recentes avisos sobre os riscos da IA como «very negative forces», considerando que há quem esteja a dramatizar catástrofes que podem nunca acontecer.

Os argumentos de Trump têm pouco a ver com segurança técnica. Ele continua a olhar para a IA como competição entre nações: enquanto a China continuar a correr, os EUA não têm margem para travar por iniciativa própria.

E estamos em setembro de 2026, a menos de dois meses das eleições intercalares norte-americanas.

Em março deste ano, um artigo do The Guardian já defendia que a IA se estava a tornar um tema importante nestas eleições. Um dos autores era o criptógrafo Bruce Schneier, que há quase trinta anos está na primeira linha das controvérsias entre tecnologia e segurança.

Mas Trump também não tem uma escolha confortável.

Segundo a revista Times, em maio deste ano, a hostilidade dos eleitores MAGA em relação à IA está a tornar-se cada vez mais visível. Receiam que a IA roube empregos e baixe salários, e desagrada-lhes o consumo de água e eletricidade dos centros de dados. Continuar a apostar na IA significa que Trump terá, mais cedo ou mais tarde, de enfrentar o descontentamento que se acumula na sua base.

Pelo menos por agora, escolheu o outro lado. Comparados com os conflitos laborais e de recursos que podem rebentar no futuro, a competição com a China e o risco de queda das bolsas norte-americanas estão mais próximos das eleições intercalares.

Wall Street também enfrenta problemas consideráveis.

Nos últimos anos, o mercado atreveu-se a atribuir avaliações astronómicas a estas empresas de IA porque comprou, na verdade, uma curva sempre ascendente: os modelos continuam a melhorar, os utilizadores e as receitas continuam a crescer e, por isso, os centros de dados continuam a ser construídos, as GPU continuam a ser compradas e as despesas de capital continuam a subir.

Agora, os próprios CEO que estão à frente dessa curva começam a dizer que a IA de fronteira pode ter de abrandar.

A reação do mercado foi mais rápida do que o debate. Depois de os responsáveis da Anthropic, da OpenAI e da SpaceX terem apelado publicamente ao abrandamento do desenvolvimento da IA, as ações de empresas cotadas ligadas à IA chegaram a cair 13%.

O abrandamento ainda nem sequer aconteceu e Wall Street já começou a reavaliar os preços.

Se a capacidade dos modelos deixar de poder subir ao ritmo anterior, todos os números a jusante terão de ser recalculados: quantos centros de dados construir, quantas GPU comprar, quanto devem os fornecedores de cloud investir por ano em despesas de capital, quanto podem os laboratórios de IA angariar e quanto deve valer uma IPO.

Portanto, o que Wall Street realmente teme nunca foi apenas o lançamento de menos modelos. Teme que a própria taxa de crescimento que sustentou o bull market da IA nos últimos anos se torne um problema a regular.

Mais subtil ainda é o facto de a opinião pública norte-americana estar mais longe de Washington e de Wall Street.

Uma sondagem do Annenberg Public Policy Center da Universidade da Pensilvânia mostra que os norte-americanos são, em geral, pessimistas quanto ao impacto da IA e que a maioria quer mais regulação governamental. Silicon Valley teme a perda de controlo, Washington teme perder para a China, Wall Street teme a queda das avaliações.

No meio desta turbulência, as duas empresas de IA mais observadas escolheram dois caminhos.

A OpenAI decidiu adiar a IPO. Sam Altman já tinha dado a entender que, se as questões de segurança exigirem mais tempo, a empresa pode adiar a entrada em bolsa.

A Anthropic, pelo contrário, continua a acelerar. A empresa já escolheu a Nasdaq, aponta para uma avaliação de 2 biliões de dólares, e a Nvidia está a considerar subscrever 10 mil milhões de dólares como investidor-âncora. Segundo a NDTV Profit, a Anthropic poderá iniciar o roadshow da IPO já em meados de outubro.

Dario Amodei apela a todo o setor para abrandar, mas a sua própria empresa acelera em direção aos mercados públicos.

O mercado de capitais, porém, pode não ver nisto uma contradição.

Se a IA de fronteira for tão perigosa como Dario diz — ao ponto de exigir a intervenção do governo dos EUA, normas comuns entre laboratórios e até coordenação entre grandes potências —, então as empresas capazes de participar na definição dessas regras só se tornam mais importantes.

Quanto mais rigorosa for a regulação, maior será o custo de fazer modelos de fronteira; quanto mais complexos forem os testes de segurança, mais difícil será para os retardatários alcançarem os líderes; e se, no futuro, surgir um sistema global de governação da IA, a Anthropic provavelmente continuará sentada à mesa onde as regras são definidas.

Portanto, «abrandar» não significa necessariamente ganhar menos dinheiro.

Pode também significar que este setor se tornou finalmente demasiado importante para deixar entrar toda a gente. E, para as empresas que já estão na frente, uma barreira mais alta é, em si mesma, parte da avaliação.

A primeira peça de dominó

Voltemos atrás para ver como foi detonada esta vaga de discussão intensa sobre AI Safety e de onde vieram os 170 milhões de visualizações da publicação de Jacob.

Depois de sair, ele deu uma entrevista ao programa de Anderson Cooper na CNN e contou como foi o processo de publicação daquela mensagem.

Jacob escreveu primeiro um rascunho, reviu-o com amigos e discutiu com várias pessoas a melhor forma de o expressar. Antes da publicação oficial, pediu expressamente a amigos que o partilhassem. A ideia, na altura, era:

«Let's try to make this a bit viral.»

Tentar fazer com que se espalhasse o mais possível.

O resultado superou largamente as expectativas. Jacob admitiu depois nunca ter visto uma publicação sobre segurança da IA alcançar tamanha difusão. Atribuiu essa reação a uma «procura latente» que ainda não tinha sido libertada.

Os jornalistas continuaram a questioná-lo sobre o processo de difusão. Jacob negou ter colaborado com qualquer organização para promoção antes da publicação, mas admitiu que, depois de publicar, criou um grupo de cerca de dez pessoas e pediu-lhes que partilhassem, incluindo o fundador da organização de segurança da IA Encode.

Antes e depois da publicação, trocou também impressões com Daniel Kokotajlo, autor de «AI 2027» e antigo funcionário da OpenAI.

Quem vê Jacob como um denunciante dirá que ele reviu o texto várias vezes e pediu ativamente a partilha apenas para que um aviso que considerava suficientemente importante chegasse a mais pessoas. Os seus críticos agarram-se aos mesmos pormenores para dizer que todo o alarido foi cuidadosamente encenado.

As duas leituras podem continuar a debater-se, mas a questão mais incómoda é outra: o que viram exatamente Jacob, Dario Amodei, Sam Altman e os que trabalham mesmo ao lado dos modelos de fronteira, e porque começaram todos a discutir isto precisamente agora?

Pode questionar-se a forma como Jacob levou esta frase a 170 milhões de pessoas, mas o uso de técnicas de difusão não torna a frase falsa.

Há dez anos, o fundador da Ethereum, Vitalik Buterin, já tinha escrito um longo artigo sobre a possibilidade de uma superinteligência acabar por destruir a humanidade.

Usou então uma analogia extrema: tentar controlar uma superinteligência seria como uma pessoa com QI 150 tentar controlar um agente com QI 6000. Se lhe pedirmos para curar o cancro, a resposta pode até ser eliminar primeiro todas as pessoas suscetíveis de vir a ter cancro.

Em 2016, estas ideias viviam sobretudo em blogues, fóruns e experiências mentais. Dez anos depois, começam a aparecer nas cartas de demissão de funcionários de laboratórios de fronteira, nas declarações públicas dos CEO das maiores empresas de IA e na agenda real da regulação governamental, dos mercados de capitais e da competição internacional.

E há ainda outra camada que torna tudo mais difícil.

A 2 de agosto de 1939, o físico Leo Szilard redigiu uma carta assinada por Einstein. Dois meses depois, a carta chegou a Roosevelt. Avisava que a fissão nuclear podia ser usada para fabricar uma bomba de enorme potência, que a Alemanha nazi já estava a agir nesse domínio e que os EUA tinham de reagir rapidamente.

Einstein não participou no Projeto Manhattan e lamentou durante muito tempo a assinatura que deu. Mas a questão que se lhes colocava era cruel: mesmo que se considere uma tecnologia perigosa, se acreditarmos que o adversário a está a fabricar, parar pode ser mais perigoso do que continuar.

Mais de oitenta anos depois, o mesmo dilema regressa com outra forma.

Dario diz que é preciso abrandar, Trump diz que a China continua a aproximar-se; os laboratórios querem definir regras de segurança em conjunto, mas nenhum quer entregar totalmente a decisão a terceiros. Todos falam em travar, mas todos olham para o carro ao lado para ver se tirou o pé do acelerador.

Mais importante ainda: continuamos sem saber até onde conseguem ver os olhos que estão mais perto dos modelos de fronteira.