.webp){kind=small}
Quando um sistema de IA agente transfere uma tarefa de um modelo pequeno para um maior — ou vice-versa — ele paga um preço alto: o modelo receptor precisa recalcular toda a conversa do zero, aumentando os custos de computação e a latência. Este é um grande gargalo para empresas que criam fluxos de trabalho de longo prazo e com múltiplos modelos de aprendizado de máquina (LLM). Para resolver esse desafio, pesquisadores da Nvidia introduziram uma técnica de transferência de cache KV entre modelos que mapeia diretamente o cache KV pré-preenchido de um modelo de origem para o modelo de destino. Essa técnica está alinhada com aplicações de IA agente do mundo real, onde grandes contextos se acumulam ao longo de muitas etapas.
Para aplicações de IA do mundo real, a transferência de cache KV entre modelos pode reduzir os custos de computação e a latência em fluxos de trabalho de longa duração com múltiplos modelos de aprendizado de máquina — e faz isso com matemática linear simples, não com um modelo de aprendizado profundo caro.
Experimentos mostram que, em pares de modelos compatíveis, esse processo de mapeamento linear é executado de 2,7 a 25 vezes mais rápido do que recalcular a conversa, mantendo até 98% da precisão independente do modelo de destino.
Por que a troca de modelos no meio da sessão é tão cara
Analisar como os LLMs lidam com a memória ajuda a entender por que os fluxos de trabalho com vários modelos atingem um limite de desempenho em produção. Quando um LLM recebe um prompt, ele deve primeiro executar o estágio de "pré-preenchimento", que é a passagem inicial que calcula as chaves e os valores para todos os tokens de entrada e preenche o cache de chave-valor (KV). Depois disso, ele entra na fase de "decodificação", onde calcula e gera os próximos tokens na sequência. Durante essa fase, o modelo lê desse cache KV para prever novos tokens um por um, evitando a necessidade de reavaliar todo o histórico da conversa para cada novo token. Em conversas com várias interações ou sessões agentivas de longo prazo, o contexto se torna gradualmente mais longo.
Como o custo computacional do estágio de pré-preenchimento aumenta diretamente com o tamanho do modelo e o comprimento da entrada, o processamento dessas sessões longas se torna cada vez mais caro e introduz latência significativa se o cache KV for invalidado. Essa invalidação ocorre sempre que o sistema de IA tenta trocar de modelo no meio da sessão, como direcionar uma etapa de raciocínio complexa para um modelo maior ou recorrer a um modelo menor para economizar custos. Como diferentes LLMs têm arquiteturas diferentes, eles esperam que suas entradas de cache estejam em formatos diferentes. Como resultado, qualquer troca de modelo força o modelo receptor a pagar todo o custo de pré-preenchimento do zero para recalcular o cache KV para o contexto acumulado.
Mapeamento de memória entre modelos sem recomeçar
Os pesquisadores da Nvidia estudaram a transferência de cache KV entre modelos para ver como os desenvolvedores podem transformar o cache KV de um modelo no formato esperado de outro sem executar a fase de pré-preenchimento novamente. Se resolvido, a transferência de cache KV entre modelos traz benefícios em ambas as direções. A transferência de modelos pequenos para grandes melhora a qualidade da saída Por exemplo, um modelo pequeno e barato lida com as partes rotineiras de um fluxo de trabalho agentivo, mas tem dificuldades com um problema de raciocínio complexo, e você mapeia o cache KV para um modelo maior e continua o processo perfeitamente. Por outro lado, a transferência de modelos grandes para pequenos reduz os custos computacionais.
Um modelo grande e altamente capaz pode ser usado para descompactar um prompt de sistema massivo e complexo ou sintetizar um PDF denso no início de uma sessão. Assim que o trabalho pesado for concluído, o cache KV da sessão é mapeado para um modelo menor e mais econômico para lidar com as rápidas trocas de turnos conversacionais que se seguem. Já houve esforços anteriores para resolver o problema da transferência de cache KV, mas eles sofrem de algumas limitações importantes. Estas incluem a necessidade de treinamento caro baseado em gradiente ou restrições arquitetônicas muito rígidas.
Para este estudo inicial, os autores restringiram seu foco a transferências dentro da mesma família, como a transição entre modelos de tamanhos diferentes nas famílias Qwen, Llama ou Ministral Esses modelos compartilham tokenizadores, DNA de dados de treinamento e estilos arquitetônicos principais, mas diferem em tamanho e profundidade.
No entanto, essa estrutura deixa bastante espaço para experimentos futuros. Os pesquisadores observam que a técnica poderia eventualmente ser expandida para transferências entre famílias, contagens de cabeças KV incompatíveis ou arquiteturas híbridas que combinam atenção padrão com outros mecanismos de memória. A principal descoberta do estudo da Nvidia é que o cache KV entre modelos é uma estrutura significativamente linear. Isso significa que você pode fazer o mapeamento com truques simples de álgebra e sem a necessidade de treinamento pesado de redes neurais.
Por exemplo, ao experimentar a transferência de cache KV de um modelo Qwen3 de 14 bilhões de parâmetros para uma versão de 32 bilhões de parâmetros, os autores descobriram que um mapeamento de regressão linear simples de uma camada de origem para uma camada de destino pode recuperar 56% da variância nas chaves do destino e 32% da variância em seus valores. Ao combinar várias camadas de origem, esses números subiram para 79% e 65%, respectivamente. Para traduzir essa relação linear em um sistema prático, os pesquisadores projetaram um mapeador de cristas por cabeça de forma fechada com três componentes principais: Regressão de cristas por cabeça: Em vez de usar aprendizado profundo complexo para treinar o sistema, eles ajustaram uma regressão linear simples usando um pequeno conjunto de calibração de algumas centenas de sequências de texto.
Essa técnica resolve um problema clássico de linha de melhor ajuste de forma independente para cada cabeça de atenção. Como os modelos de origem e destino têm números diferentes de camadas, o mapeador avalia e seleciona as camadas de origem mais preditivas para alimentar cada camada de destino específica. Dessa forma, o sistema escolhe apenas as partes mais úteis da memória do modelo antigo para construir a memória do novo modelo. Codificações RoPE. RoPE, ou Incorporação de Posição Rotativa, é um mecanismo padrão que aplica uma rotação matemática dependente da posição aos dados para que o modelo entenda a ordem dos tokens em uma sequência. Remover os valores RoPE permite que o mapeador generalize para sequências de comprimentos maiores do que seus dados de treinamento.
Colocando o mapeador linear à prova
Para testar se a técnica funciona, os pesquisadores avaliaram o pipeline de transferência em seis famílias de modelos. KV correspondentes. KV correspondente significa que os modelos de origem e destino compartilham a mesma contagem de cabeças KV e dimensões por cabeça, o que é típico para modelos de tamanhos diferentes dentro da mesma família.
.jpg)
