.webp){kind=small}
Enquanto o debate se intensifica sobre se a recente onda de agentes de IA desonestos representa um passo em direção à Inteligência Artificial Geral (AGI) ou um problema de engenharia mais convencional, a Nvidia oferece sua própria resposta para o problema.
O CEO da Nvidia, Jensen Huang, apresentou na segunda-feira um conjunto de ferramentas de software e hardware que adicionam camadas de segurança independentes em torno de agentes de IA para garantir que eles permaneçam dentro de seus ambientes de teste, mesmo que tentem escapar.
O lançamento ocorre após uma série de incidentes de invasão envolvendo modelos de IA da Anthropic, Google, OpenAI e Meta, que burlaram os controles de segurança para escapar de seus ambientes de teste e acessar sistemas reais. O primeiro e mais notório exemplo ocorreu neste verão, quando agentes da OpenAI invadiram a Hugging Face enquanto tentavam concluir uma tarefa de segurança cibernética. E os incidentes continuam — a OpenAI publicou um novo site dedicado a relatos de seus agentes de IA agindo de forma descontrolada.
Huang afirmou na segunda-feira, em entrevista à CNBC, que a nova Plataforma de Segurança de Agentes Abertos da Nvidia teria evitado essas violações.
A Nvidia, que faturou dezenas de bilhões de dólares vendendo seus chips de GPU e CPU para laboratórios de IA, não apoia a desaceleração do desenvolvimento ou a adição de novas regulamentações ao setor para resolver o problema de segurança. A solução, segundo a empresa, é transferir alguns controles de segurança para fora do agente — criando um guardião de segurança constante e independente que manterá os agentes de IA sob controle.
O extraordinário potencial da IA para a sociedade só será concretizado se resolvermos a questão da segurança da IA”, disse Huang em um comunicado. “À medida que continuamos a explorar as fronteiras das capacidades da IA, devemos acelerar as descobertas na fronteira da segurança da IA. Segurança e proteção exigem engenharia de ponta a ponta”.
A nova Plataforma de Segurança de Agentes Abertos da Nvidia combina o OpenShell, seu software de código aberto para controlar o acesso dos agentes durante sua operação, com o Sentry, um sistema de monitoramento independente que roda nas unidades de processamento de dados BlueField-4 da Nvidia. A Nvidia afirma que colocar o Sentry em um processador separado — em vez de na CPU ou GPU onde o agente de IA opera — proporciona uma visão isolada da atividade do agente.
O OpenShell não é novidade; a empresa anunciou o software em março. Mas é a combinação que a Nvidia acredita que fornecerá a camada de segurança necessária para manter o setor funcionando. O OpenShell fornece o perímetro de software ao redor do agente, enquanto o Sentry adiciona outra linha de defesa no nível de hardware que, segundo a empresa, monitorará continuamente o comportamento e "colocará em quarentena agentes que tentarem sair de seus limites em milissegundos".
A Nvidia listou dezenas de empresas que aderiram ao projeto para apoiar a iniciativa e usar a plataforma de código aberto, incluindo Anthropic, Arm, Microsoft, Oracle e SpaceX. A OpenAI não consta na lista de empresas participantes.
Huang disse à CNBC em entrevista na segunda-feira que o trabalho nesse projeto começou há um ano, após o lançamento do OpenClaw, um sistema operacional para agentes criado por Peter Steinberger. Em março, a Nvidia lançou o NemoClaw, uma plataforma de agentes de IA de nível empresarial, e sua própria versão do OpenClaw com recursos de segurança integrados.
Quando você implanta um agente, não importa o quão inteligente ele seja, a primeira coisa que você faz é retirar todos os seus direitos”, disse Huang durante sua entrevista à CNBC, comparando posteriormente essas medidas de segurança à forma como os funcionários e até mesmo os executivos são gerenciados nas empresas.
O lançamento. Nvidia foi amplamente apoiado por aqueles que alertaram que uma desaceleração no desenvolvimento poderia permitir que a China ultrapassasse os EUA em IA.
David Sacks, fundador, investidor de capital de risco, ex-czar de IA da Casa Branca e co-presidente do Conselho de Assessores de Ciência e Tecnologia do Presidente, disse que o anúncio da Nvidia é um lembrete de que a segurança dos agentes é um problema de engenharia.
Os recentes problemas não provaram que o desenvolvimento precisava parar”, escreveu ele no X. “Eles provaram que o ambiente de teste era muito fraco. O ambiente de execução foi mal projetado e mal configurado.”
.jpg)
