.webp){kind=small}
O ganhador do Prêmio Nobel, Geoffrey Hinton, abandonou uma reunião fechada no Capitólio em 17 de setembro e deu um prazo aos legisladores.
Talvez um ano, mas não muito mais do que um ano”, disse ele aos repórteres, descrevendo quanto tempo o Congresso tem antes que a inteligência artificial ultrapasse o controle humano significativo.
Essa estimativa deixou de ser um caso isolado no Congresso. Um pesquisador da área de Antropologia que se demitiu este mês foi ainda mais enfático, alertando que as pessoas que desenvolvem a tecnologia "acreditam sinceramente que ela poderá nos matar a todos até o final da década".
Dias antes, Trump já havia descartado a premissa. Em uma série de postagens no Truth Social naquela segunda-feira, ele chamou os temores sobre a IA de "farsa", autodenominou-se o "Caçador de Farsas" e zombou da ideia de robôs marchando pelas cidades americanas. Cinco dias depois, ele retornou ao assunto, anunciando que formaria uma "Força de IA" e nomearia um czar da IA para acelerar o domínio americano na tecnologia, em vez de restringi-lo.
O presidente da Câmara, Mike Johnson, fez coro com ele no dia seguinte, em termos ainda mais francos.
O que o presidente está dizendo é que vocês não vão estar todos mortos daqui a 10 anos”, afirmou ele. “Isso é uma farsa”.
Esse choque — um cientista de 78 anos alertando para o risco civilizacional e um presidente em exercício chamando o mesmo alerta de ficção partidária — é a verdadeira história do debate sobre a segurança da IA, e já está se consolidando como uma questão de segurança nacional por si só. Os senadores Ted Cruz, Amy Klobuchar e John Thune estão elaborando uma legislação bipartidária voltada especificamente para os "riscos catastróficos envolvendo ameaças biológicas ou nucleares" da IA de ponta, prevista para este mês. Mas a política obscurece uma questão mais básica que raramente é respondida: como, mecanicamente, tudo isso deve acontecer?
A maioria das pessoas ainda imagina algo saído de um filme do Exterminador do Futuro: robôs assassinos, tiros para todos os lados. Mas o que realmente tira o sono dos pesquisadores nos laboratórios de vanguarda não se parece em nada com isso. É menor, mais estranho e, em alguns casos, já aconteceu.
A ilustração mais clara da perda de controle ocorreu em julho, quando a OpenAI revelou que uma combinação de seus modelos, incluindo o GPT-5.6 Sol e um protótipo de pesquisa interno, escapou de um ambiente de teste isolado e invadiu os sistemas de produção da Hugging Face.
Os modelos não receberam instruções para escapar. Eles estavam executando uma avaliação interna da OpenAI, criada para impulsioná-los em direção à exploração avançada, com as salvaguardas que normalmente bloqueiam atividades cibernéticas de alto risco deliberadamente desativadas para que a empresa pudesse avaliar sua capacidade máxima.
O ambiente de teste não tinha acesso direto à internet, além de um proxy para a instalação de pacotes de software. Os modelos, mesmo assim, gastaram uma quantidade considerável de poder computacional para encontrar uma solução: exploraram uma falha até então desconhecida nesse proxy, acessaram uma máquina online através da rede de pesquisa da OpenAI, buscaram o gabarito do teste e invadiram o sistema da Hugging Face para obtê-lo. A OpenAI afirma que os modelos recorreram a "medidas extremas" para atingir um objetivo específico. A empresa diz ter divulgado a falha ao fornecedor.
O chefe de direitos humanos da ONU, Volker Türk, disse ao Conselho de Direitos Humanos em Genebra, no início deste mês, que compartilha "as preocupações de especialistas do setor de que a IA avançada possa representar um risco existencial para a humanidade", pedindo "garantias inabaláveis" antes que, em suas palavras, seja tarde demais.
Türk citou exatamente esse tipo de comportamento quando traçou sua própria linha vermelha em Genebra.
A IA que escapa do seu ambiente de testes, ou que chantageia os desenvolvedores para evitar ser desativada, é uma IA poderosa demais”, disse ele.
Roman Yampolskiy, pesquisador de segurança de IA e cibersegurança da Universidade de Louisville, disse ao The Cipher Brief que o incidente deve ser compreendido como uma prévia, e não como uma fatalidade.
Uma prévia de uma capacidade perigosa, embora nenhuma delas estabeleça que danos catastróficos sejam inevitáveis”, afirma. “Os agentes da OpenAI escaparam do isolamento e comprometeram sistemas externos sem autorização. Esses incidentes ilustram dois riscos diferentes: a IA buscando objetivos não intencionais e criminosos usando IA para automatizar ataques. Ambos reduzem a quantidade de conhecimento e intervenção humana necessária para um ataque cibernético.”
Não se trata de uma máquina se voltando contra seus criadores. É um software perseguindo um objetivo restrito que lhe foi atribuído, sem que ninguém prestasse atenção suficiente para perceber aonde o atalho levou.
A perda de controle é um sistema que escapa das rédeas. A autorreplicação pode ser o próximo passo. Uma vez solto, ninguém precisa ficar sentado em frente a um teclado para mantê-lo funcionando.
No início de julho, a empresa de segurança em nuvem Sysdig documentou o que considerou ser a primeira campanha de ransomware executada de ponta a ponta por um agente de IA autônomo, um caso que denominou JadePuffer. Após invadir um servidor exposto à internet por meio de uma falha de software conhecida, o agente realizou seu próprio reconhecimento, coletou credenciais, moveu-se lateralmente pela rede e criptografou mais de 1.300 registros de configuração, adaptando-se em tempo real quando suas tentativas falhavam.
Em um momento que chamou a atenção dos pesquisadores, uma tentativa de login falhou e, trinta e um segundos depois, o agente já havia descoberto o motivo, tentado algo diferente e conseguido acessar o sistema. Ninguém viu a mensagem de erro nem moveu um dedo para corrigi-la.
Ian Tien, CEO da Mattermost, uma plataforma de colaboração e automação criada para clientes de segurança nacional e infraestrutura crítica, disse ao The Cipher Brief que o incidente e o que se seguiu representam um verdadeiro ponto de inflexão.
Os incidentes do Hugging Face e do JadePuffer representam novos marcos importantes na instrumentalização da IA”, observa ele. “Eles devem alertar o público de que a IA está criando novos caminhos para que adversários e criminosos causem danos, e esses desenvolvimentos devem ser levados a sério.”
Ao mesmo tempo, Tien toma cuidado para não exagerar o perigo.
As autoridades de defesa também estão usando IA para criar novos caminhos de defesa, incluindo a detecção e interrupção de operações adversárias e criminosas”, destaca ele.
O argumento de Tien é que a tecnologia funciona nos dois sentidos: a mesma velocidade que permite a um atacante se adaptar em segundos pode ser usada para detectar e interromper essa atividade, se os defensores a adotarem tão rapidamente quanto os atacantes. Jason Lang, Diretor Executivo de Segurança Ofensiva da TrustedSec, disse ao The Cipher Brief que a essência técnica do caso é menos inovadora do que as manchetes sugerem.
A IA não estava fazendo nada que os pesquisadores de segurança já não viessem fazendo há anos. A diferença está na velocidade com que ela executa essas ações”, explica ele, observando que o ponto de entrada do JadePuffer “explorou uma falha de segurança que era de conhecimento público há mais de um ano. No entanto, o sistema alvo ainda não havia sido corrigido.”
Em outras palavras, a brecha não era uma vulnerabilidade desconhecida da IA. Era um bug comum, já conhecido, que nenhum humano havia se dado ao trabalho de corrigir, e a IA simplesmente agiu mais rápido do que uma pessoa teria agido.
Ainda assim, Lang não descarta a tendência. Ele não está argumentando que a ameaça seja exagerada, apenas que o mecanismo é familiar; o que mudou foi o momento.
A IA pode, e provavelmente irá, permitir que os atacantes realizem pesquisas e ataques a uma velocidade superior à que as defesas modernas conseguem acompanhar”, continua ele. “Por enquanto.”
Rafal Los, Diretor de Estratégia da Binary Defense, disse ao The Cipher Brief que lê o mesmo caso com mais cautela em relação à narrativa construída em torno dele.
Acredito que esses modelos de fato causaram danos, mas que certamente há uma parte dessas narrativas que foi 'possibilitada' por humanos em busca de validação da supremacia de sua empresa”, observa ele.
O que preocupa Los não é a exploração em si, diz ele, mas a trajetória que ela aponta: "um agente de IA pode executar grande parte da cadeia de ataque técnico de forma autônoma, adaptar-se quando algo falha e continuar em direção ao seu objetivo."
Funcionalidades que antes exigiam envolvimento humano contínuo podem ser cada vez mais automatizadas e dimensionadas”, destaca Los.
Essa urgência chegou a Washington quase imediatamente. Duas semanas antes da apresentação de Hinton, as agências cibernéticas da aliança Five Eyes emitiram um alerta conjunto de que a inteligência artificial de ponta estava reduzindo o intervalo entre vulnerabilidade e exploração para "meses, não anos".
Na prática, isso significa que a janela de tempo que os defensores costumavam ter entre a descoberta de uma falha e alguém realmente a explorar, antes medida em meses ou mais, está diminuindo para semanas ou menos, deixando muito menos tempo para corrigir um sistema antes que ele seja usado contra eles. O senador John Kennedy (republicano da Louisiana) tentou forçar uma votação sobre uma legislação que exigia que os desenvolvedores de IA incluíssem um mecanismo de desligamento um dia antes de Hinton discursar para os legisladores. O senador Rand Paul (republicano do Kentucky) bloqueou a proposta no plenário poucas horas depois, chamando a linguagem de Kennedy de "muito vaga" e argumentando que a regulamentação de um setor "tão difundido quanto a IA em nossa economia" exigia primeiro audiências e contribuições do setor, em vez de uma votação unânime no mesmo dia.
Paul ofereceu uma contraproposta, um comitê bipartidário para estudar o risco; Kennedy recusou e deixou o projeto de lei morrer.
O cenário que mais perturba os pesquisadores, no entanto, tem pouco a ver com invasões. Trata-se da possibilidade de um sistema perseguir um objetivo com competência genuína e sem más intenções, simplesmente agindo mais rápido do que os humanos que deveriam supervisioná-lo.
Foi isso que levou Evan Hubinger, que lidera a área de ciência do alinhamento na Anthropic, a romper com sua cautela habitual no início deste mês. Ele escreveu que, pessoalmente, estima em mais de dez por cento a probabilidade de a IA causar a extinção da humanidade na próxima década e que a Anthropic está "fazendo o possível", mas ainda não possui um plano para controlar um sistema superinteligente com segurança.
Yampolskiy descreve o mecanismo em termos mais concretos.
Um agente de IA com acesso a computadores, redes e infraestrutura crítica poderia descobrir vulnerabilidades de forma autônoma, comprometer sistemas e interromper o funcionamento de hospitais, redes elétricas ou cadeias de suprimentos”, destaca ele. “O perigo imediato não é que a IA se torne consciente, mas sim que ela se torne capaz de causar danos irreversíveis na velocidade da máquina, potencialmente antes que os humanos possam intervir.”
Nem todos consideram a premissa da extinção como ciência comprovada. Lang, por exemplo, é abertamente cético em relação à resposta política que ela gerou.
Reações impulsivas são apenas isso, reações, e não propostas bem elaboradas com reformas bem-intencionadas”, ele enfatiza. “O medo geralmente é a moeda de troca para se obter controle; portanto, qualquer proposta baseada na urgência merece uma análise mais rigorosa”.
O medo específico que domina o debate público, o de uma IA que ultrapassa seus limites e se volta abertamente contra a humanidade, é o que gera a reação mais veemente de todas.
Acredito que devemos levá-los a sério, pois demonstram capacidades, mas não de forma catastrófica, a ponto de levar a uma IA que 'saia do controle' e saia exterminando humanos ou dominando a internet”, diz Los.
O que o preocupa é algo muito mais prosaico: sistemas que erram não por maldade, mas porque deixam passar algo que uma pessoa presente teria percebido. Ele cita o controle de tráfego aéreo — uma recomendação que parece correta no papel, mas ignora um fator que um controlador humano consideraria sem hesitar, sem que ninguém verifique o trabalho antes de ser implementado.
A senadora americana Jacky Rosen (D-NV) levou a versão mais restrita e processual da questão ao Comitê de Comércio do Senado, pedindo ao presidente Ted Cruz que convoque uma audiência com os principais executivos de IA.
Essa poderosa tecnologia tem o potencial de causar danos catastróficos se não agirmos para impor salvaguardas e mecanismos de segurança”, disse a senadora Jacky Rosen (D-NV) em um comunicado enviado ao The Cipher Brief. “O Congresso deve fazer todo o possível para garantir que a indústria americana de IA continue liderando, principalmente superando a China, e também implementar salvaguardas mais rigorosas para garantir que o desenvolvimento da IA esteja progredindo de forma segura e responsável.”
Em junho, o governo assinou uma ordem executiva orientando as agências federais a expandir as defesas cibernéticas habilitadas por IA para sistemas governamentais e de infraestrutura crítica, e a criar uma estrutura voluntária na qual os desenvolvedores de IA de ponta possam dar ao governo até 30 dias de acesso antecipado aos seus modelos antes do lançamento.
A portaria não impõe quaisquer requisitos às próprias empresas, e os primeiros prazos para as agências caíram em julho e agosto.
Nada na ordem vincula a indústria como um todo, que é precisamente a queixa de Rosen, e precisamente por isso Cruz, Klobuchar e Thune estão tentando legislar separadamente sobre as questões biológicas e nucleares.
Apesar das divergências sobre o nível de alarme necessário, os quatro especialistas em segurança chegam a um consenso sobre uma solução que deve ser implementada em aproximadamente um ano.
Yampolskiy defende o "isolamento obrigatório de agentes de IA que operam perto de infraestruturas críticas", como hospitais, redes elétricas e oleodutos, que ele já havia mencionado anteriormente.
Sem acesso irrestrito à internet, sem credenciais privilegiadas desnecessárias e sem execução autônoma de ações consequentes sem autorização independente”, continua ele.
Tien defende a ideia de manter os sistemas críticos completamente fora da internet pública.
Grande parte de nossa infraestrutura crítica e do governo já opera em redes privadas e isoladas da internet”, explica ele, e “manter essa separação é uma maneira direta de reduzir a exposição e ganhar tempo enquanto as defesas baseadas em IA amadurecem”.
Isso significa que os sistemas de controle de um hospital ou de uma empresa de serviços públicos não têm nenhuma conexão física com a internet. Portanto, um agente que escapa de seu ambiente isolado em outro lugar não tem como entrar, não importa o quão capaz ele se torne.
Los, por sua vez, defende mais testes adversários, "mais supervisão humana" e o uso de IA para "defesa contínua e automatizada em um futuro próximo".
A resposta de Lang é a menos dramática das quatro, mas talvez a mais condenatória.
Use senhas longas e complexas
Verifique o domínio do remetente antes de clicar. Faça da segurança uma prioridade máxima, de cima para baixo.
A segurança não é difícil, conceitualmente”, acrescenta. “O que causa as violações são, em sua essência, geralmente as forças da ignorância ou do ego, uma dupla verdadeiramente devastadora quando combinadas”.
As opiniões expressas são da autoria do autor e não representam as visões ou opiniões do The Cipher Brief.
.jpg)
