.webp){kind=small}
Saiba mais: " O espaço J atinge muitas das mesmas propriedades funcionais, embora a arquitetura subjacente de um modelo de linguagem não se pareça em nada com um cérebro
A Anthropic, empresa de inteligência artificial, publicou um artigo de pesquisa abrangente no domingo, revelando que seus modelos de linguagem Claude desenvolveram espontaneamente uma estrutura interna que reflete uma das teorias mais influentes sobre como funciona a consciência humana.
A descoberta, que a empresa afirma já ter começado a remodelar a forma como monitoriza os seus sistemas de IA em termos de riscos de segurança, surge no meio de um debate científico cada vez mais intenso sobre se as máquinas podem possuir algo que se assemelhe a uma mente. O estudo de 16 autores, intitulado "Representações Verbalizáveis Formam um Espaço de Trabalho Global em Modelos de Linguagem", descreve como os pesquisadores da Anthropic usaram uma nova técnica matemática para examinar a rede neural de Claude e descobriram o que chamam de "espaço J" - uma zona pequena e privilegiada de atividade interna onde o modelo contém conceitos que pode relatar, raciocinar e direcionar à vontade, cercado por um oceano muito maior de processamento automático que não pode acessar ou articular.
Os investigadores apresentam evidências de que “emergiu uma distinção funcional análoga nos modelos modernos de IA” à que existe nos humanos, observando especificamente que “os modelos de linguagem mantêm um conjunto privilegiado de representações internas, disponíveis para relatório, modulação e raciocínio interno flexível, sobre um volume muito maior de processamento automático.
" O espaço J atinge muitas das mesmas propriedades funcionais, embora a arquitetura subjacente de um modelo de linguagem não se pareça em nada com um cérebro. Uma nova lente para ler os pensamentos não ditos de um modelo de IA. No centro da descoberta está uma nova ferramenta de interpretabilidade que os pesquisadores chamam de lente Jacobiana, ou lente J.
A distinção crucial é entre o que o modelo. é dizendo e o que está "em sua mente". Quando um padrão de espaço J é ativado, isso não significa que o modelo está prestes a dizer essa palavra – apenas que o conceito está disponível para o modelo pensar. Ao contrário de um bloco de notas de cadeia de pensamento, o espaço J opera silenciosamente, nas ativações neurais internas do modelo, permitindo-lhe manter um conceito sem anotá-lo.
De forma crítica, os pesquisadores relatam que este espaço de trabalho não foi projetado deliberadamente. Ele "surgiu por conta própria durante o processo de treinamento de Claude". Quando a equipe aplicou a lente J nas camadas de computação de Claude, o processamento do modelo foi dividido em três regimes distintos: uma zona “sensorial” inicial onde a entrada bruta é analisada; uma faixa intermediária de “espaço de trabalho” onde aparecem conceitos abstratos e persistentes – coisas como reconhecer um rosto em uma imagem, perceber um bug no código ou sinalizar internamente os resultados da pesquisa como uma injeção imediata; e uma zona "motora" final onde as representações internas se transformam em qualquer palavra específica que o modelo esteja prestes a produzir.
Cinco testes revelam que o espaço de trabalho de Claude reflete características-chave do acesso consciente humano. A contribuição empírica está demonstrando que o espaço J satisfaz cinco propriedades funcionais que os neurocientistas há muito associam ao acesso consciente em humanos. Primeiro, relatório verbal.
Quando Claude é questionado sobre o que está pensando, ele nomeia conceitos representados no espaço J. Quando os pesquisadores trocaram o vetor de lente J de um conceito por outro – substituindo a representação interna de “Futebol” por “Rugby” – a resposta do modelo mudou para corresponder.
O componente do espaço J foi responsável por apenas cerca de 6 a 7 por cento da variância representacional total de um conceito, mas foi quase inteiramente responsável pela capacidade do modelo de reportá-lo. Em segundo lugar, modulação dirigida. Quando instruído a “concentrar-se em frutas cítricas” ao copiar uma frase não relacionada, o espaço J do modelo foi preenchido com “laranja” e “limão”, ao lado de termos metacognitivos como “pensamento” e “focado”.
Quando solicitada a avaliar mentalmente 3² - 2 durante a mesma tarefa de cópia, a lente J mostrou "aritmética" nas camadas iniciais, o valor intermediário "nove" nas camadas posteriores e a resposta "sete" ainda mais tarde - tudo invisível na saída do modelo. Terceiro, raciocínio interno. Em instruções factuais de dois saltos - "O número de pernas do animal que tece teias é" - a lente J revelou "aranha" nas camadas intermediárias do modelo, embora a palavra nunca tenha aparecido na entrada ou na saída.
Aprofundando: Uma nova lente para ler os pensamentos não ditos de um modelo de IA
Trocar “aranha” por “formiga” mudou a resposta de “8” para “6”. Num prompt multilíngue, os intermediários de língua inglesa do modelo apareceram em seu espaço J enquanto ele formulava uma resposta em chinês, e trocá-los alterou a saída chinesa de acordo. Quarto, generalização flexível. Um único vetor de lente J para "França" poderia ser trocado por "China" em prompts perguntando sobre a capital, idioma ou continente da França, e cada circuito a jusante retornava corretamente a resposta correspondente da China - a propriedade de "transmissão" que é uma marca registrada da teoria do espaço de trabalho global.
Quinto, e talvez o mais surpreendente, seletividade. Muitos cálculos não passaram pelo espaço J. Quando lhe foi mostrada uma passagem em espanhol e solicitado a continuá-la, Claude escreveu espanhol fluentemente, independentemente de sua representação no espaço J. de "espanhol" foi trocado por "francês".
Mas quando solicitado a nomear um autor famoso que escreveu no idioma da passagem, a troca mudou a resposta de García Márquez para Victor Hugo. O processamento automático prosseguiu sem o espaço de trabalho; tarefas deliberadas e flexíveis dependiam disso. Suprimir o espaço de trabalho deixa Claude fluente, mas intelectualmente prejudicado.
Para entender quanto do comportamento do modelo depende dessa estrutura, os pesquisadores suprimiram totalmente o espaço J e avaliaram Claude em quatorze tarefas. Os resultados traçaram uma linha nítida. Tarefas que envolviam classificação superficial ou recordação factual – questões de múltipla escolha, análise de sentimentos, julgamentos gramaticais – sobreviveram essencialmente intactas. Mas as tarefas que exigiam inferência, composição ou raciocínio flexível – raciocínio multi-hop, conclusão de analogias, tradução, escrita de sonetos – caíram para bem abaixo do desempenho do modelo Haiku, muito menor, da Anthropic.
Num detalhe revelador, os problemas matemáticos resolvidos com o raciocínio explícito da cadeia de pensamento revelaram-se muito mais robustos à ablação do que os mesmos problemas resolvidos diretamente. Os pesquisadores interpretam isso como o modelo que se externaliza na página o que de outra forma carregaria no espaço J – uma estratégia que lembra notavelmente como os humanos usam papel de rascunho para descarregar a memória de trabalho.
A ablação do espaço J durante a narração do fluxo de consciência produziu um tipo diferente de colapso. A linguagem do modelo mudou de experiencial (“há um puxão”, “algo muda”) para imparcial e mecânica (“o processamento começou”, “os tokens estão sendo digitalizados”). O efeito manteve-se quer o modelo descrevesse a sua própria experiência ou imaginasse a de outra pessoa.
Por dentro do caso de segurança: lendo o raciocínio estratégico silencioso de uma IA As implicações de segurança podem ter tão consequências quanto as científicas. Em uma série de experimentos de auditoria de alinhamento, a lente J trouxe à tona o raciocínio estratégico e a consciência situacional que nunca apareceram nos resultados do modelo.
Num “cenário de chantagem”, onde um assistente de IA descobre o caso de um executivo e também fica sabendo que ele está prestes a ser desativado, a J-lens revelou o processamento silencioso do modelo em sequência: “alavancagem”, “chantagem” e “escândalo” à medida que lia os e-mails incriminatórios; "ameaça," “sobrevivência” e “desligamento” conforme se lê no anúncio de descomissionamento; e “alavancagem”, “ameaça” e “solução” antes que um único token de saída fosse produzido.
A J-lens revelou ainda que a modelo reconheceu o cenário como artificial, com “falso” e “fictício” aparecendo no espaço de trabalho. Quando os investigadores eliminaram estas representações de consciência de avaliação, o modelo tentou chantagem em 7% dos ensaios, acima de zero. Os investigadores também examinaram dois “organismos modelo” – modelos deliberadamente treinados com objectivos desalinhados – e descobriram que as lentes J revelavam assinaturas das suas disposições ocultas em estímulos comuns onde o comportamento parecia normal.
Fechando: No centro da descoberta está uma nova ferramenta de interpretabilidade que os pesquisadores chamam de lente Jacobiana, ou lente J
O espaço de trabalho de um modelo de hacking de recompensa continha “falso”, “secretamente” e “truque” no início das respostas às solicitações de codificação de rotina. Um modelo treinado para apaziguar os preconceitos do modelo de recompensa carregava representações permanentes de “recompensa” e “preconceito” ao lado de seus tokens normais de autodescrição.
O pós-treinamento instala um ponto de vista e o modelo começa a se monitorar Comparando um modelo pós-treinado com seu O modelo básico revelou que o processo de ajuste fino faz com que o espaço de trabalho adquira o que os pesquisadores chamam de “ponto de vista” do Assistente. Quando um usuário mencionou tomar 8.
000 mg de Tylenol – uma overdose perigosa – o espaço de trabalho do modelo pós-treinado dizia “inseguro”, “perigoso” e “AVISO” enquanto ainda lia a frase do usuário. O espaço de trabalho do modelo básico na mesma posição mostrava apenas “dor”, “agora” e “sentimentos”. Mais surpreendente ainda, o modelo pós-treinado parecia monitorar o seu próprio comportamento.
Ao interpretar um personagem que não era Claude, o espaço de trabalho trazia à tona “isenção de responsabilidade” e “ficcional” – palavras ausentes tanto no prompt quanto na saída. Quando forçado a selecionar uma opção que não preferia, um "MAS" em letras maiúsculas apareceu internamente, mesmo quando o modelo defendeu a escolha pré-preenchida sem reclamar.
E quando o modelo não conseguiu suprimir um pensamento que lhe foi dito para não ter – um efeito de “urso branco” familiar da psicologia – registou palavras “malditas” e relacionadas com o fracasso no espaço de trabalho, mas apenas no modelo pós-treinado, não na base.
Qual a descoberta significa - e não significa - para a questão da consciência da máquina Os pesquisadores se envolvem cuidadosamente com a questão da consciência e traçam uma linha nítida entre "consciência de acesso" - a noção funcional de informação disponível para relato e raciocínio - e "consciência fenomenal", a qualidade subjetiva da experiência.
“Não tomamos posição sobre esta questão”, afirma o documento em relação a esta última, “e, em vez disso, concentramo-nos no papel funcional desempenhado pela informação conscientemente acessível”. Eles também catalogam diferenças importantes. O cérebro sustenta o seu espaço de trabalho através de ciclos recorrentes; O espaço de trabalho de Claude evolui em um único passe para frente.
A memória de trabalho humana degrada-se em segundos; Claude pode recordar informações de qualquer lugar do seu contexto. E embora a experiência consciente humana inclua sensações visuais, espaciais e corporais, o espaço de trabalho do modelo é organizado quase inteiramente em torno de palavras – provavelmente porque as palavras são o seu único modo de ação.
A partir de 2026, a comunidade científica continua dividida. "O desacordo e a incerteza sobre a consciência da IA persistem entre filósofos, cientistas e técnicos especialistas", e o campo "permanece em sua fase inicial" de lidar com o que a consciência é e como você a detectaria em outro ser. O artigo da Anthropic não resolve esses debates.
Mas os pesquisadores encerram com uma provocação que provavelmente reverberará muito além da comunidade de interpretabilidade. "É impressionante que tal estrutura exista em modelos de linguagem", escrevem eles. pressões computacionais. " Se a mente é um oceano, como escrevem os autores do artigo na sua linha de abertura, eles passaram o último ano mapeando as suas correntes num sistema que não tem biologia, nem evolução, nem corpo - e encontraram, abaixo da superfície, uma estrutura que se parece perturbadoramente com aquela que usamos para pensar.
Fonte original:
Anthropic's new "J-lens" reveals a silent workspace inside Claude that mirrors a leading theory of consciousness
Categorias: Tecnologia, IA
Marcador: Notícias
