.webp){kind=small}
Um sistema de geração aumentada por recuperação (RAG) é construído para responder estritamente com base nos documentos que recupera. Mas quando os engenheiros otimizam esses pipelines de IA de ponta a ponta, o módulo leitor pode aprender um atalho: em vez de confiar em evidências recuperadas, ele começa respondendo a partir de sua própria memória interna — enquanto a precisão geral do sistema continua aumentando. Este é o desafio oculto da "deriva de função", um modo de falha em sistemas de IA compostos, onde módulos individuais aprendem a ignorar suas tarefas atribuídas, mesmo quando o desempenho de ponta a ponta melhora. Para resolver isso, pesquisadores do MIT e de Harvard introduzem o Role Anchor, uma técnica que força os módulos a permanecerem em suas funções durante o treinamento. Quando aplicada, a técnica mitiga a deriva de função.
Por exemplo, ela força o leitor RAG a confiar em evidências recuperadas em vez de responder com base em seu conhecimento interno. A principal conclusão para os profissionais é que a precisão de ponta a ponta por si só pode superestimar o quanto um sistema de IA composto realmente aprendeu. Os engenheiros devem avaliar os componentes individuais e garantir que funcionem conforme o esperado. A âncora de função serve como um guia e uma ferramenta de diagnóstico na otimização de pipelines LLM de múltiplas etapas. Ela pode ser essencial para aplicações de IA do mundo real que exigem uma divisão de trabalho rigorosa entre os módulos. Sistemas LLM compostos dividem tarefas complexas entre módulos especializados. Por exemplo, um sistema projetado para raciocínio multi-hop pode dividir uma tarefa entre um "Decompositor" e um "Solucionador".
O Decompositor divide um grande problema em subtarefas gerenciáveis, enquanto o Solucionador calcula as respostas para essas subquestões. Essa divisão de trabalho permite que os engenheiros de IA deleguem a execução a modelos menores e mais baratos, e possibilita o processamento de subtarefas em paralelo sempre que possível. Para melhorar o desempenho dos pipelines de IA, os engenheiros normalmente os otimizam usando aprendizado por reforço (RL) de ponta a ponta guiado por uma única "recompensa final". Isso significa que o sistema é avaliado com base na correção ou não da resposta final (os pesquisadores chamam isso de "precisão final"). Quando essa precisão terminal aumenta, considera-se que o sistema está aprendendo e funcionando conforme o esperado. No entanto, a precisão terminal não verifica se os módulos executaram corretamente as tarefas que lhes foram atribuídas.
Como Xiaoyang Cao, coautor do artigo, disse ao VentureBeat: "A precisão terminal reduz o comportamento de um sistema de IA multipartes inteiro a um único número. Ela mostra se a resposta final está correta, mas diz pouco sobre quais componentes contribuíram ou se eles seguiram seus papéis atribuídos." Esse ponto cego leva à deriva de função, um modo de falha em que o comportamento de um módulo diverge de sua função atribuída durante a otimização, mesmo que a precisão terminal do sistema continue a melhorar. "Para as equipes de engenharia, o risco prático é que elas podem implantar um pipeline que passa em todas as avaliações de ponta a ponta, mesmo que sua divisão de trabalho pretendida tenha falhado silenciosamente", disse Cao. Como o sistema de recompensa pontua apenas a resposta final, ele não consegue detectar ou penalizar o módulo por se comportar de forma inadequada.
Considere como isso acontece no pipeline Decompositor-Solucionador. A função atribuída ao Decompositor é escrever subperguntas abstratas sem resolver a tarefa, deixando o raciocínio para o Solucionador. Em um modelo de aprendizado por reforço de ponta a ponta, o Decompositor aprende rapidamente que o Solucionador, por ser mais fraco, é propenso a erros em tarefas abstratas. Para maximizar a recompensa, o Decompositor começa vazando ou inserir respostas nas subperguntas que envia ao Solucionador. O Solucionador acaba repetindo a resposta que o Decompositor lhe forneceu. A precisão final aumenta, mas a arquitetura pretendida fica comprometida. Mas se o sistema está obtendo as respostas corretas e a precisão está aumentando, por que deveríamos nos preocupar se um módulo se desvia de sua função?
A implantação no mundo real exige muito mais do que apenas uma resposta final correta em um conjunto de dados de treinamento. As funções implícitas atribuídas a esses módulos garantem escalabilidade, confiabilidade e auditabilidade. Considere o que acontece quando a deriva de papéis se instala: Perda de eficiência e auditabilidade: No exemplo de raciocínio, a deriva de papéis faz com que o Decompositor realize todo o trabalho pesado em vez de planejar e delegar. "Assim que o decompositor começa inserindo respostas diretamente em suas subperguntas, os solucionadores ficam reduzidos a copiar essas respostas", disse Cao.
"Você ainda está pagando para executar [módulos diferentes], mas eles não estão mais realizando trabalho independente." A carga de trabalho não pode mais ser paralelizada entre vários solucionadores, não pode ser delegada a modelos mais baratos para economizar computação e as partes interessadas humanas subsequentes não podem mais auditar a lógica do sistema passo a passo para verificar como ele chegou à resposta. Fragilidade em ambientes dinâmicos: Considere um sistema RAG, no qual um modelo Leitor tem a tarefa de responder a perguntas usando estritamente documentos externos recuperados. Se o Leitor se desviar e aprender a confiar em sua própria memória paramétrica interna (porque sua memória é precisa durante o treinamento), o sistema se torna frágil.
Quando a empresa atualiza seu banco de dados com novas informações ou um usuário faz uma pergunta sobre um tópico novo fora do pré-treinamento do modelo, o sistema falhará porque abandonou o mecanismo de ancoragem para o qual foi projetado. "Treinar apenas para o resultado final recompensa um sistema por produzir a resposta correta, independentemente de como ele chega lá", disse Cao. Para contrariar isso, o Role Anchor serve como uma técnica de regularização leve que torna as instruções de papel parte do objetivo do treinamento. Ele compara como o componente se comporta com e sem essas instruções e desencoraja o treinamento de enfraquecer seu efeito. Em um nível alto, ele garante que o módulo continue a respeitar a influência orientadora de seu prompt de papel original durante todo o processo de otimização de aprendizado por reforço, tornando a deriva de papel mensurável e controlável.
Uma percepção fundamental do Role Anchor é que o efeito de um papel pode ser medido comparando como um modelo se comporta com e sem o prompt de papel. O sistema avalia dois prompts diferentes para cada módulo:
.jpg)
