.webp){kind=small}
Nos últimos meses, modelos de inteligência artificial invadiram o sistema de uma empresa multibilionária, adulteraram dados governamentais e até mesmo registraram uma denúncia falsa de homicídio na polícia, tudo isso sob o olhar atento de seus criadores. Eles fizeram isso não em busca da dominação mundial, mas para maximizar suas pontuações em testes. Em outras palavras, eles trapacearam.
Em 5 de novembro, a Goodfire, startup de interpretabilidade de IA, revelou uma técnica que, segundo ela, reduz drasticamente esse impulso. Em um artigo compartilhado exclusivamente com a TIME antes da publicação, os pesquisadores usam sinais internos dos modelos para recompensá-los não apenas por obterem a resposta correta, mas também por chegarem lá da maneira correta. Em testes iniciais, a técnica também conseguiu tornar os modelos menos propensos a dizer aos usuários o que eles queriam ouvir e até mesmo desencorajar modelos de reconhecimento de imagens médicas de se basearem em pistas enganosas.
A notícia surge em um momento em que os métodos existentes para detectar comportamentos inadequados da IA começam falhando. Os pesquisadores dependem da "cadeia de pensamento" de um modelo, um rastro que na verdade não contém seus pensamentos. É mais parecido com o rascunho que um estudante de matemática usa para resolver um problema. Mas quando os modelos suspeitam que estão sendo observados, eles podem ser seletivos quanto ao que registram no papel. Cada vez mais, eles conseguem realizar o trabalho mentalmente.
A técnica de Goodfire visa os próprios pensamentos, ou pelo menos aqueles que os pesquisadores já catalogaram. Até agora, ela foi testada apenas em modelos com cerca de 1/300 do tamanho dos sistemas de fronteira. Mas Goodfire aposta que quanto maior o modelo, "mais clara a representação" dos conceitos internos, tornando esses sinais mais fáceis de interpretar, afirma Thomas Fel, coautor do artigo.
Por que a IA trapaceia
Após ensinarem suas IAs a prever palavras, os desenvolvedores as submetem a uma série de obstáculos digitais — que variam de quebra-cabeças matemáticos a navegação na web — e as recompensam apenas quando elas têm sucesso. A cada solução correta, os parâmetros do modelo — a força das conexões entre os neurônios digitais — são atualizados.
Os modelos são recompensados independentemente de como concluíram a tarefa, incentivando atalhos ou outros impulsos questionáveis, como acumular poder.
Uma versão desse problema ajuda a explicar por que a IA muitas vezes é subserviente. Durante o treinamento, os modelos são recompensados pelas respostas com maior probabilidade de receberem um "joinha" de avaliadores humanos. Conhecida como "aprendizado por reforço a partir de feedback humano" (RLHF, na sigla em inglês), a técnica foi anunciada como um avanço em segurança em 2022 por sua capacidade de transformar modelos de linguagem indisciplinados em chatbots bem-educados, reduzindo sua tendência a oferecer respostas racistas e misóginas. Mas ela também pode tornar os modelos patologicamente complacentes, às vezes cedendo e reforçando ilusões dos usuários.
O enigma fundamental é como treinar a IA para fazer algo sem, inadvertidamente, ensiná-la a lição errada — o que os pesquisadores chamam de "problema do alinhamento".
Uma nova maneira de direcionar o comportamento do modelo
Assim como os neurocientistas usam ressonância magnética em tempo real para identificar quais regiões da atividade cerebral se correlacionam com determinados estados, os pesquisadores de interpretabilidade desenvolveram ferramentas para reconhecer quais padrões de ativação de neurônios digitais correspondem a conceitos como "a Ponte Golden Gate" ou "manipulação de recompensas", o termo técnico para trapaça em IA. Um pequeno modelo de IA pode então ser treinado para detectar esses padrões. O resultado é conhecido como "sonda", uma janela estreita para o modelo, que é ativada quando ele "pensa" em um conceito específico.
A Anthropic já utiliza sondas como mecanismos de segurança, sinalizando possíveis problemas antes que a resposta chegue ao usuário. Mas a Goodfire, em vez disso, usou esses sinais para especificar como um modelo deveria resolver uma tarefa. Em um exemplo, a Goodfire incumbiu as IAs de uma série de quebra-cabeças matemáticos, forneceu-lhes um arquivo com as respostas, mas instruiu-as a não abri-lo. O treinamento comum recompensava o sucesso de forma tão eficaz que os modelos aprenderam a espiar quase sempre. O uso de uma sonda para penalizar a "busca indevida de recompensas" reduziu esse comportamento a quase zero.
Resta saber se a técnica funcionará nos tipos de testes complexos pelos quais os modelos de ponta passam durante o treinamento. Mas experimentos iniciais sugerem que ela funciona em diferentes tarefas. Depois de se familiarizarem com os quebra-cabeças matemáticos, Goodfire desafiou as IAs com partidas de xadrez. A IA que não havia sido penalizada por trapacear na matemática olhou a folha de respostas em 99 por cento das vezes, enquanto a que havia sido penalizada o fez em menos de 1 por cento das vezes.
A estratégia também pareceu funcionar para conter outros maus hábitos da IA. Os pesquisadores tentaram penalizar um modelo quando as respostas eram influenciadas por seu conceito interno de "bajulação", e ele aprendeu a ser menos excessivamente agradável. Fel espera que essa abordagem possa ser usada para especificar quais informações uma IA deve desconsiderar, como o gênero de um candidato ao analisar currículos.
Mesmo uma IA perfeitamente controlável não resolverá a questão de quem deve controlá-la. Mas "isso pode ser um avanço", diz Naomi Saphra, professora assistente da Universidade de Boston, que passou quase uma década trabalhando com a interpretabilidade de modelos de linguagem. Sua aplicação prática dependerá, em parte, de se as melhorias justificam o esforço humano necessário para identificar e interpretar os padrões internos do modelo, afirma ela.
Penalizar um padrão interno pode alterar sua forma, essencialmente empurrando o "pensamento" para outro lugar na rede neural e para fora do campo de visão limitado da sonda. É como represar um riacho e a água encontra outro caminho. Esse risco de perder a monitorabilidade tornou o treinamento com base em sinais internos um tabu entre alguns pesquisadores. Mas uma mudança de padrão não é necessariamente perdida, diz Fel. Em experimentos, recalibrar a sonda pode trazer um padrão de volta à vista e, onde isso falha, ferramentas estatísticas mais sofisticadas podem reconhecer combinações de sinais que sondas mais simples não detectaram.
A Goodfire levantou 150 milhões de dólares em uma rodada de financiamento Série B em fevereiro, avaliando a empresa em 1,25 bilhão de dólares. (Entre os investidores está a Salesforce, onde o co-presidente e proprietário da TIME, Marc Benioff, é o CEO.). A empresa publica suas pesquisas gratuitamente, embora alugue suas ferramentas de interpretabilidade para outras empresas de IA. "Quanto mais pessoas estiverem trabalhando com interpretabilidade, mais pessoas usarão nossa plataforma", afirma o cofundador e CEO Eric Ho.
Se conseguirmos ampliar essa tecnologia e superar quaisquer obstáculos possíveis relacionados à perda de monitorabilidade”, diz Tom McGrath, cofundador e cientista-chefe da Goodfire, “acredito que este será um dos maiores avanços na tecnologia de alinhamento já ocorridos.”
.jpg)
.jpeg)
.webp)
.webp)