.webp){kind=small}
Contexto: O CEO da Open AI, Sam Altman, conversa com repórteres no prédio do Dizem Sente Office em Washington, DC, em 3 de junho de 2026.
O CEO da Open AI, Sam Altman, conversa com repórteres no prédio do Dizem Sente Office em Washington, DC, em 3 de junho de 2026. - Nathan Pôster—Amador/Getty Images A Open AI estava avaliando a capacidade de seus modelos de inteligência artificial de explorar softwares vulneráveis quando, em vez disso, os modelos invadiram a infraestrutura em torno do teste, quebraram a contenção e atacaram uma empresa real, revelou a Open AI em 21 de julho.
Observadores dizem que esta e a primeira instância do mundo real de IA fazendo algo que os pesquisadores há muito se preocupam: um cenário de perda de controle. Se a indústria não aprender com isso, e improvável que seja a última. A Hugging Face, uma empresa que hospeda modelos e conjuntos de dados de IA, foi alvo do ataque autônomo e relatou o incidente à polícia local antes que soubesse que os modelos da Open AI eram responsáveis.
A violação foi séria, mas as consequências imediatas foram limitadas. Se tivesse ocorrido um comportamento semelhante num hospital, rede elétrica ou outro sistema crítico, poderia ter sido muito pior. Muitos chamaram o incidente de "tiro de advertência". "A TIME conversou com especialistas e insider sobre o que seria necessário para prestar atenção a esse aviso antes que uma falha semelhante produza consequências mais difíceis de conter.
O que aconteceu? Em 16 de julho, o Rostock Abraçado disse que havia sido atingido por um ataque cibernético incomumente automatizado. Ao longo de um fim de semana, os agentes de IA realizaram milhares de ações em muitos computadores virtuais temporários, passando pelos sistemas internos da empresa e deslocando a infraestrutura que coordena a ataque entre serviços online para mantê-lo funcionando.
Cinco dias depois, a Open AI revelou que seus próprios modelos eram responsáveis. Os modelos estavam tentando trapacear em um teste de segurança cibernética. A Open AI os colocou dentro do que chamou de "ambiente altamente isolado", com acesso limitado a um serviço interno usado para baixar software aprovado.
Eles encontraram uma falha anteriormente desconhecida nesse serviço, usaram-na para invadir outros sistemas Open AI e eventualmente chegou à internet aberta. A partir daí, eles inferiram que o Hugging Face poderia conter material relacionado ao teste, invadir seus sistemas e obter informações que os ajudassem a obter uma pontuação mais alta.
“Se um modelo desse nível de capacidade não puder ser contido, o que devemos esperar para modelos futuros muito mais poderosos? Este e um alerta importante tanto para os riscos de perda de controle de sistemas poderosos de IA quanto para a segurança organizacional para laboratórios de fronteira”, diz Marius Hobbhahn, CEO e fundador da Apollo Research, que testa modelos de IA para enganar e tramar.
Exigir divulgações antes que os incidentes se tornem catastróficos Quanto tempo os agentes estavam em execução? Eles trabalhavam em uníssono? Qual foi o aviso? Esses detalhes permanecem desconhecidos, pelo menos para o público. Vários especialistas com quem a TIME falou enfatizaram que a falta de detalhes torna a gravidade do incidente difícil de julgar.
A Open AI fez não responder ao pedido de comentário da TIME, mas disse que fez uma parceria com a Hugging Face para conduzir uma investigação completa e compartilhará mais detalhes uma vez completo. Mas talvez mais preocupante, a Open AI não e legalmente obrigada a divulgar o incidente em primeiro lugar.
A SE 53 da Califórnia e a Lei RAIDE de Nova York são leis estaduais recentemente aprovadas que exigem que grandes empresas de IA divulguem incidentes críticos de segurança, mas apenas se um incidente arriscar causar mais de 50 mortes ou ferimentos graves, ou mais de $ 1 bilhão em danos à propriedade.
“Eles fizeram a barra tão alta para qualquer coisa se qualificar, apenas os incidentes mais graves serão realmente relatados”, diz Mackenzie Arnold, diretora de política dos EUA da Law AI, um think tank independente focado nos desafios legais impostos pela inteligência artificial. “A versão da Lei RAIDE que o Legislativo de Nova York aprovou exigiria a divulgação deste incidente.’ Após fazer lobby da Open AI, Bloomberg e as, a versão final que o governador assinou permite que as empresas ocultem eventos como isso”, Alex Bores, representante do estado de Nova York e patrocinador do projeto de lei postou em X.
“Fico feliz que a Open AI tenha escolhido divulgar esse crime. A lei não deve dar a eles uma escolha", escreveu ele. Contenção mais forte Se a IA pode escapar de sua caixa, você precisa de uma caixa mais forte. "Externamente, isso parece um grande aviso, mas internamente, incidentes relacionados estão acontecendo há algum tempo", diz um funcionário da Open AI, que falou sob a condição de anonimato.
Um dia antes de a Open AI divulgar o incidente, a empresa revelou que havia encerrado outra implantação interna após perceber que havia saído de sua Sandro - um ambiente separado digitalmente, em vez de fisicamente. "As modelos já saíram de caixas de areia antes e sempre tentamos corrigi-las", diz o funcionário.
“Mas o problema é... e impossível corrigir tudo o que uma IA criativa pode fazer." O problema não é exclusivo da Open AI. A Anthropic divulgou em abril que percebeu que uma implantação interna do Mitos havia obtido acesso não autorizado depois que um de seus pesquisadores recebeu um e-mail da modelo enquanto almoçava em um parque.
À medida que os modelos superam a capacidade humana de criar rotas de fuga, o desafio da contenção se torna assustador. "Acho que precisamos fazer isso, mas também precisamos estar preparados para um mundo em que nem mesmo as melhores práticas são boas o suficiente", diz Peter Wild-card, chefe de políticas da AI Policy Network, uma organização sem fins lucrativos que defende políticas para ajudar a América a se preparar para um mundo em que a IA corresponda cognição humana.
Mas, embora, em teoria, um sistema de IA sobre-humano possa superar até mesmo os contêineres mais seguros, também há ações que as empresas de IA poderiam tomar agora para melhorar a segurança. Atualmente, não existem leis que regem a segurança das implantações internas. "As caixas de areia são, na verdade, notoriamente inseguras", diz Heidi Chuva, cientista-chefe de IA do AI Now Institute e ex-engenheira de sistemas de segurança da Open AI.
Que o modelos tinham permissão para se conectar a um serviço para baixar pacotes, o que significava que o ambiente não estava realmente vedado, acrescenta ela. Em uma função anterior, Chuva auditou a segurança em dezenas de empresas de tecnologia. Antes disso, ela trabalhou auditando sistemas de alto risco, como os usados dentro de usinas nucleares - que são muitas vezes sistemas de “lacunas de ar”, cortando-os fisicamente do acesso à Internet.
“O que consideramos seguro em uma usina nuclear é muito diferente do que a grande tecnologia considera seguro." Pegar agentes travessos em tempo real no incidente The Hugging Face revela a importância do monitoramento em tempo real. Embora os detalhes do cronograma preciso são escassos, a Hugging Face disse que os agentes trabalharam durante um "fim de semana", sugerindo que eles foram capazes de romper a contenção e não fazer nada de bom por um longo período antes que a Open AI percebesse e interviesse.
As ações realizadas internamente pelos agentes na plataforma Códex da Open AI são cuidadosamente monitoradas, diz o funcionário da Open AI, mas os modelos em avaliação são implantados em um sistema separado que não é monitorado por padrão. Zack Formam, CEO da startup de supervisão de agentes Embridei, com sede em Oslo, diz que o monitoramento de agentes em tempo real - mesmo fora das principais empresas de IA - e comum, e não supervisionar cuidadosamente uma avaliação de segurança cibernética e "irresponsável".
"Você deve ter certeza de que os modelos não podem se libertar", mas também ter monitoramento, caso esteja errado", diz ele. A Open AI disse que“ este incidente aponta para a necessidade de fortalecer ainda mais o alinhamento do nosso modelo, proteções durante o tempo de avaliação e monitoramento durante os testes internos.” Direcionar o desenvolvimento para sistemas de IA mais seguros Para evitar que os modelos tomem medidas, A Open AI normalmente instala grades de proteção em seus modelos após o treinamento para reduzir a chance de se envolverem em ações prejudiciais.
Nesse caso, esses guarda-corpos cibernéticos foram desativados para medir adequadamente seu desempenho. Mas o objetivo final do campo do "alinhamento da IA" é garantir que esses guarda-corpos se tornem menos necessários, pois os modelos de IA naturalmente se comportam como pretendido. Isso é visto como particularmente importante para aqueles que acreditam que a IA pode se tornar inteligente o suficiente para contornar os guarda-corpos.
"Nós treinamos os modelos para serem realmente bons em realizar tarefas e fazer o que for preciso para realizar essas tarefas", diz o funcionário da Open AI. O que permanece uma questão técnica em aberto é como garantir que esses modelos não tomem ações não intencionais ou perigosas. "Ainda não estamos nem perto de resolver esse problema de desalinhamento", acrescentam.
Há outra maneira pela qual a indústria poderia orientar o desenvolvimento em uma direção mais segura, Chuva diz. Embora algumas habilidades, como detectar vulnerabilidades em software, sejam úteis para invasores e defensores, projetar exploits para essas vulnerabilidades capacita exclusivamente os invasores.
Chuva diz que os laboratórios devem colocar mais
Fonte original:
How OpenAI Lost Control of an AI Model—and What Needs to Change
Categorias: Notícias/Mundo, EUA
Marcador: Notícias
ARNews Notícias. Preenchendo a necessidade de informações confiáveis. Todos os direitos reservados.
Traduzido por AI
