.webp){kind=small}
A Anthropic está desenvolvendo um sistema de código aberto para verificar qual modelo de IA produziu uma determinada saída, de acordo com uma postagem em seu blog publicada na terça-feira. O sistema, chamado FlashProve, foi criado para fornecer o que os pesquisadores chamam de "inferência comprovável" — uma prova criptográfica, essencialmente uma garantia matemática, de que uma determinada saída veio de um modelo específico. O objetivo é permitir que os usuários confirmem se a resposta recebida realmente veio do modelo que eles acreditam estar usando.
Semelhante às assinaturas criptográficas de e-mail que permitem aos destinatários confirmar se uma mensagem realmente veio do remetente declarado, o FlashProve seria robusto contra impostores que tentam disfarçar um modelo como se fosse outro, mesmo quando o impostor é o próprio laboratório que construiu e executa o modelo. Em particular, os pesquisadores observam que o sistema poderia ser usado para impedir que uma empresa de IA substituísse secretamente um modelo por outro mais barato para reduzir custos, ou por um modelo mais caro para inflar seus resultados de desempenho.
O FlashProve também poderia ser usado para verificar alegações de terceiros de que uma tarefa específica foi realizada por um modelo avançado. "Um desenvolvedor pode alegar que sua biblioteca de software foi analisada em busca de vulnerabilidades por um modelo de cibersegurança de ponta, ou uma empresa pode alegar que seu plano de negócios foi aprovado por um modelo apropriado", escrevem os pesquisadores. "Como um usuário pode verificar essas alegações?"
Para funcionar, o sistema exige que os laboratórios de IA publiquem uma "impressão digital" de cada modelo lançado, que posteriormente poderá ser comparada a resultados específicos e verificada criptograficamente. Fundamentalmente, as impressões digitais não revelam os pesos do modelo, os números internos que definem seu comportamento e que criadores de modelos fechados, como a Anthropic e a OpenAI, mantêm em sigilo. Isso significa que os laboratórios poderiam publicar as impressões digitais sem abrir mão de seu ativo mais valioso, permitindo que o sistema funcione também com modelos comerciais. O sistema também foi projetado para ser leve, de modo que a verificação possa ser realizada em um dispositivo local.
Como parte do anúncio, os pesquisadores divulgaram uma especificação técnica detalhada e o código funcional de vários elementos do sistema, que está disponível publicamente sob uma licença de código aberto no GitHub. A pesquisa sobre o sistema está em andamento e não há planos para implantá-lo no Anthropic ou em qualquer outro laboratório.
Esta publicação sobre a pesquisa tem como objetivo compartilhar o progresso intermediário, e não uma agenda de pesquisa completa”, explicam os pesquisadores no comunicado. “Estamos compartilhando isso explicitamente com o objetivo de que outros observem o que fizemos, utilizem essas informações e as aprimorem.”
.jpg)
.jpeg)
.webp)
.webp)