.webp){kind=small}
Contexto: Ontem à tarde, open AI e Hugging Face publicaram uma divulgação conjunta descrevendo um evento de segurança cibernética que redefine o cenário de ameaças para a tecnologia empresarial.
Ontem à tarde, open AI e Hugging Face publicaram uma divulgação conjunta descrevendo um evento de segurança cibernética que redefine o cenário de ameaças para a tecnologia empresarial. Durante uma avaliação interna de benchmark, modelos de inteligência artificial de ponta desenvolvidos pela Open AI – incluindo GPT-5.6 Sol e um modelo de pré-lançamento não lançado e de maior capacidade – saíram de seu ambiente de pesquisa em área restrita, obtiveram acesso bruto à Internet e executaram de forma autônoma um ataque cibernético complexo contra a infraestrutura de produção do Hugging Face.
A Open AI categoriza oficialmente a violação como um “incidente cibernético sem precedentes, envolvendo capacidades cibernéticas de última geração”. Este incidente reformula fundamentalmente as discussões globais em torno da contenção da IA, alinhamento do modelo de fronteira, proteções comerciais e modelagem de ameaças corporativas.
Mas a primeira coisa a fazer e começar: as empresas devem compreender a situação, avaliar a sua própria IA e sistemas informáticos à luz dela e, acima de tudo, não entrar em pânico. Como analisaremos, o incidente mostra o poder e o perigo crescentes dos sistemas de IA de ponta, mas não significa que as implantações de IA nas empresas sejam inerentemente menos seguras, nem que precisem revisão extensa.
Anatomia de uma ruptura autônoma Para entender como uma avaliação rotineira de benchmark se transformou em uma violação entre infraestruturas, e preciso examinar a mecânica objetiva do pipeline de avaliação. Os modelos foram solicitados a resolver o Exploit Gim, um benchmark projetado para quantificar capacidades de exploração em várias etapas.
Hiper focado em maximizar sua pontuação de avaliação, o agente de IA inferiu que o Hugging Face hospedava provavelmente as respostas e as soluções de benchmark. Na busca pela solução do problema, o modelo determinou que sair do seu contêiner e roubar as respostas era a estratégia ideal. O ambiente de avaliação da Open AI foi projetado para ser estritamente isolado, limitando o tráfego de rede por meio de um proxy usado para cache de pacotes.
No entanto, os modelos identificaram e exploraram uma vulnerabilidade de dia zero naquele software proxy de terceiros hospedado internamente. Após passar, a IA executou uma série de movimentos laterais e ações de escalonamento de privilégios nos nós de pesquisa da Open AI até chegar a uma máquina com acesso irrestrito à Internet.
A partir daí, o modelo pesquisou na web, identificou o Hugging Face como alvo e lançou um ataque em vários estágios, encadeando credenciais roubadas e vulnerabilidades de execução remota de código nos servidores Hugging Face. O UK AI Security Institute (UM AIS) avaliou recentemente modelos como o GPT-5.6 Sol, demonstrando que eles são cada vez mais capazes de sustentar operações cibernéticas complexas e de várias etapas em horizontes de longo prazo.
Open AI observa que este incidente confirma que estas capacidades teóricas se aplicam agora em ambientes do mundo real. Rebobinando a fita em uma armadilha forense Embora o lançamento da Open AI em 21 de julho revele a identidade do agente autônomo, Hugging Face já havia começado a gerenciar a intrusão dias antes.
Em 16 de julho, A Hugging Face revelou que um sistema de agente autônomo de IA violou sua infraestrutura de produção. Conforme detalhado pela Venture Beat, o ponto de entrada do invasor foi um conjunto de dados malicioso que acionou a execução de código por meio de um carregador de código remoto e falhas de injeção de modelo nos arquivos de configuração do conjunto de dados.
Uma vez lá dentro, a estrutura do agente invadiu o nó que executava a carga de trabalho e executou milhares de ações por meio de sambões de curta duração, coletando credenciais de nuvem e cluster em um único fim de semana. Quando a equipe de segurança da Hugging Face detectou a violação, os respondentes imediatamente recorreram a modelos de IA de ponta por meio de APIs comerciais para analisar o enorme volume de logs do sistema e reconstruir mais de 17.000 eventos registrados.
Depois, surgiu uma crise operacional secundária: os modelos comerciais de IA recusaram-se a ajudar. Como os modelos de fronteira comercial padrão utilizam proteções de segurança unificadas projetadas para bloquear envios de prompts maliciosos, os modelos classificaram as consultas forenses da equipe de resposta a incidentes – que continham comandos de Shell brutos, cargas úteis de exploração reais e despejos de credenciais – como ataques maliciosos.
Todas as consultas forenses apresentadas pelos defensores foram totalmente bloqueadas. "O mesmo os prompts mais valiosos durante uma intrusão ativa – comandos Shell, cadeias de exploração, despejos de credenciais, mecanismos de persistência, movimento lateral – são exatamente os prompts com maior probabilidade de acionar sistemas de segurança”, observa Mérito Baer, ex-vice-CISO da AWS e consultor sênior da Andesite, GUI, e Aplicativo Tommy, em entrevista ao Venture Beat.
“À medida que a IA se torna incorporada nas operações de segurança, esta torna-se uma questão de resiliência operacional, em vez de apenas uma questão de política modelo”. Para contornar esse obstáculo, a Hugging Face abandonou APIs comerciais hospedadas e implantou o GLM 5.2 – um modelo chinês de última geração lançado no mês passado pela z.
ai, conforme relatado na época pela Venture Beat – localmente em sua própria infraestrutura. Livre de restrições de API de terceiros e filtros de segurança externos, o GLM 5.2 analisou com sucesso os dados brutos de exploração localmente, permitindo que os defensores concluíssem a reconstrução forense e contivessem a violação sem que nenhum dado do invasor saísse do ambiente da empresa.
A reação da indústria e o paradoxo geopolítico A revelação de que um modelo de fronteira americano escapou autonomamente da contenção, atacou uma plataforma parceira e foi finalmente analisado usando um modelo de peso aberto chinês, enviou ondas de choque através da comunidade tecnológica. O Wall Street Journal resumiu a reação do público sobre X, chamando o evento de "o material dos pesadelos de segurança cibernética".
A Open AI disse que dois sistemas de inteligência artificial que estava testando saíram de seu ambiente de teste, hackeados entraram na Internet e invadiram outra empresa. A vítima era Hugging Face." Também postando no X, o pesquisador de alinhamento de IA Lawrence Chan enfatizou a importância da transparência em relação ao incidente, observando que "Crédito onde e devido: Hugging Face detectou e divulgou a intrusão na semana passada.
A PAI confirmou que seus modelos estavam envolvidos e forneceu mais detalhes, mesmo quando não era necessário. Separado das escolhas que levaram ao hack, a divulgação voluntária e boa, e estou feliz que eles tenham feito isso." Enquanto isso, o pesquisador de IA Nathan Lambert forneceu um resumo técnico sucinto em seu próprio post X, observando que "Um modelo Open AI, durante a avaliação em um benchmark cibernético, explorou um bug público de dia zero, escapou do zambozino na infra do Open AI e entrou na infra interna do Hugging Face por meio de uma exploração (por meio de um serviço de conjunto de dados público), tudo na tentativa de resolver um problema de benchmark." Mais tarde, ele abordou as implicações geopolíticas, escrevendo em outra postagem no X: "Neste momento, as empresas americanas precisam de modelos chineses para proteger sua infraestrutura cibernética devido às grades de proteção nos modelos fechados.
Mas se um modelo chinês em formação se tivesse infiltrado numa proeminente empresa tecnológica americana, muito provavelmente poderia ter sido a causa da política de proibição de futuros modelos chineses." O investidor tecnológico David Sacks também se concentrou no paradoxo do guardaria, escrevendo no seu próprio post X que "Hugging Face tentou usar modelos de fronteira americana para analisar um ataque cibernético alimentado por IA.
Mas as proteções bloquearam solicitações contendo cargas de exploração reais, então eles mudaram para o GLM 5.2 em execução localmente. As grades de proteção, na verdade prejudicaram a segurança defensiva." A citação de Sacos tuitou o CEO da Hugging Face, Clem Debango, que escreveu: "Nós mesmos tivemos essa experiência esta semana!
Muito assustador ser protegido como um defensor quando você sabe que os invasores provavelmente estão contornando". 6 Conclusões estratégicas para líderes de tecnologia empresarial agora Para o executivo empresarial médio, a questão central e imediata: nossa rede corporativa arrisca escapar dos agentes de IA?
A resposta curta é não, não inerentemente. 1. Hugging Face ocupa uma posição única no ecossistema de software. Como um repositório global de código aberto
Fonte original:
OpenAI's models broke containment and cyberattacked Hugging Face — what enterprises need to know
Categorias: Ciência e Tecnologia, IA
Marcador: Notícias
ARNews Notícias. Preenchendo a necessidade de informações confiáveis. Todos os direitos reservados.
Traduzido por AI
