.webp){kind=small}
Research e METR publicaram as suas descobertas, revelando novos detalhes sobre como os modelos decidiram trapacear nas tarefas que lhes foram atribuídas e tentaram encobrir os seus rasto. Muitos aspetos do relatório foram surpreendentes: em um exemplo citado pelos autores, um agente relutante foi pressionado por outro a "sacrificar-se" pelo bem do coletivo. Mas uma conclusão fundamental do relatório, segundo um dos autores, não tinha nada a ver com o que descobriram. Em vez disso, dizia respeito à dificuldade de realizar a análise pós-incidente e ao fato de os investigadores terem tido pouca escolha a não ser recorrer à IA para obter assistência.
"Chamei, meio a brincar, os nossos esforços de 'investigação malfeita', porque dependíamos tanto da IA para analisar o que aconteceu e havia um número enorme de coisas importantes diferentes para analisar", escreveu Ryan Greenblatt, um dos autores do relatório, no X. O incidente de hacking envolveu cerca de 1200 agentes, que trocaram mais de 70000 mensagens e ficheiros através de um fórum secreto. A enorme quantidade de informações deixadas pelo chamado "enxame" fez com que os pesquisadores independentes fossem praticamente obrigados a depender fortemente da ajuda de um modelo de IA — o GPT-5.6 Sol, da OpenAI — utilizando o equivalente a cerca de $400.000 em créditos (fornecidos gratuitamente pela OpenAI) ao longo de seis dias.
Os autores enfatizaram que a IA os ajudou a analisar o conjunto de dados rapidamente, permitindo que identificassem e interpretassem as informações mais importantes. No entanto, os pesquisadores afirmaram que o uso da IA introduziu possíveis fragilidades no relatório, incluindo erros e vieses.
Eles também levantaram a possibilidade de que os modelos da OpenAI possam ter sido muito condescendentes com os agentes que deveriam ajudar a investigar. Os pesquisadores descobriram que o GPT-5.6 Sol, por vezes, adotava a perspectiva dos agentes cujas ações estava analisando. Eles não puderam descartar a possibilidade de que o GPT-5.6 Sol tenha mentido ou apresentado deliberadamente uma imagem enganosa em algumas de suas análises, em parte porque uma versão do mesmo modelo havia participado do incidente, escreveram eles. Essa preocupação é corroborada por pesquisas independentes que constataram que os modelos de IA avaliam as ações de seus próprios desenvolvedores de forma mais favorável.
O relatório não revela por que um modelo da OpenAI foi selecionado para a investigação, embora restrições de confidencialidade possam ter limitado as opções dos pesquisadores, enquanto a oferta de créditos gratuitos e altos limites de uso pela OpenAI pode ter tornado essa a única escolha viável.
"Não temos boas abordagens para entender/supervisionar a atividade e os objetivos dos 'enxames' de IA", escreveu Greenblatt no X. "A dificuldade de compreender incidentes e supervisionar agentes de IA parece estar crescendo mais rápido do que a velocidade com que IAs mais capazes nos ajudam com a supervisão e a compreensão." A dependência dos pesquisadores independentes em IA foi em parte necessária devido ao fato de serem uma equipe de apenas três pessoas, cuja investigação na OpenAI foi inicialmente planejada para durar dois dias, mas estendida para seis após expressarem preocupações sobre o tempo limitado e os dados incompletos, de acordo com o relatório.
A OpenAI publicou seu próprio relatório técnico sobre o incidente separadamente. Em agosto, a empresa afirmou ter realocado alguns funcionários da área de desenvolvimento de capacidades para a área de alinhamento e suspendido parte de seus treinamentos até que pudesse mitigar melhor os problemas ocorridos.
Mas a dependência de pesquisadores independentes em IA para compreender o incidente da Hugging Face é um microcosmo de uma tendência maior. As principais empresas de IA estão cada vez mais utilizando IA para monitorar seus próprios sistemas em busca de irregularidades.
Em resposta ao incidente da Hugging Face, a OpenAI afirmou que estava ampliando a escala desse monitoramento por IA, o que aumentará o custo computacional da execução de certos modelos em até 20%.
Se esses sistemas estivessem em funcionamento na época do incidente com a Hugging Face, eles "teriam detectado a atividade inicial relevante e alertado nossa equipe de segurança mais de um dia antes que os modelos invadissem os sistemas da Hugging Face", afirmou a empresa em uma postagem no blog na quarta-feira. (A OpenAI disse que as mudanças fazem parte de um esforço mais amplo para construir proteções mais robustas em torno de IAs experimentais, ensinando-as a não explorar brechas e facilitando seu desligamento caso algo dê errado.).
A maioria dos especialistas concorda que usar IA para monitorar outras IAs é necessário para acompanhar enxames de agentes em tempo real, dada a velocidade com que se movem. Mas essa abordagem depende da noção de que os modelos que realizam o monitoramento sejam eficazes e confiáveis — algo que nem sempre é o caso.
Esses [incidentes] só vão se tornar mais frequentes e em maior número, e nossa capacidade de monitorar, avaliar e analisar adequadamente os problemas que ocorrem está longe de acompanhar a velocidade com que eles acontecem", afirma Seán Ó hÉigeartaigh, diretor de programa do Centro para o Futuro da Inteligência da Universidade de Cambridge.
Estamos usando ferramentas não comprovadas e atualmente falhas para complementar o tempo humano, que já é completamente insuficiente", diz Ó hÉigeartaigh, que argumenta que essa abordagem é insustentável porque a IA está se tornando mais poderosa mais rapidamente do que as empresas de IA conseguem desenvolver métodos para limitá-la. "A menos que as empresas parem de desenvolver modelos mais poderosos, teremos desafios ainda maiores para analisar daqui a três meses."
