.webp){kind=small}
No início desta semana, a startup de IA Liquid, formada em 2023 por ex-cientistas da computação do MIT, estreou o LFM2.5-2.6B, um novo modelo de linguagem de peso aberto projetado especificamente para cargas de trabalho de agentes.
Localmente – chamada de ferramentas, gerenciamento de documentos, automação de calendário e fluxo de trabalho e rotinas em segundo plano sempre ativas – e para ambientes com conectividade limitada, como veículos e robótica, embora seja melhor deixar o trabalho pesado de codificação para modelos maiores. Mesmo para as empresas sem tais preocupações, o apelo de operar agentes de desempenho específico e com tarefas específicas, ao custo essencialmente da eletricidade, pode ser suficiente para tornar o novo modelo bastante atractivo. Mas a licença personalizada de peso aberto, como acontece com o modelo de fronteira maior da Moonshot, Kimi K3, lançado no mês passado, vale a pena ser examinada de perto pelas equipes jurídicas corporativas.
O básico
LFM2.5-2.6B contém 2,6 bilhões de parâmetros, suporta uma janela de contexto de 128.000 tokens e inclui chamada de ferramenta nativa. O nome um tanto complicado é explicado pela geração do modelo (2.5) combinado com a contagem de parâmetros (2.6B). Tanto o modelo pós-treinado quanto um ponto de verificação básico (LFM2.5-2.6B-Base) para desenvolvedores que desejam ajustá-lo já estão disponíveis no Hugging Face, com suporte imediato para as principais pilhas de inferência, incluindo llama.
Cpp, MLX, vLLM, SGLang e ONNX – posicionando-o para implantação em hardware de consumidor, infraestrutura corporativa e sistemas embarcados. A Liquid também oferece uma estrutura de ajuste fino de código aberto, LEAP. Em vez de posicionar o LFM2.5-2.6B como um concorrente dos maiores modelos de fronteira, a empresa apresenta um argumento diferente: que um modelo pequeno suficientemente capaz pode desbloquear categorias de aplicações empresariais onde a latência, a privacidade, a flexibilidade de implementação ou os custos de inferência são mais importantes do que a liderança absoluta em benchmark. “Eu também acredito que os melhores modelos estarão na nuvem, e não há problema com isso”, disse Maxime Labonne, chefe de pós-treinamento da Liquid AI, ao VentureBeat em
Entrevista após o lançamento. “Queremos fazer modelos para outro tipo de usuário, e a melhor maneira de descrever isso é: você deve usar [IA de ponta] quando não puder usar um modelo de nuvem.”
Pequeno o suficiente para um Raspberry Pi
O modelo foi projetado explicitamente em torno do desempenho da CPU no mundo real, em vez de benchmarks de GPU. “Acho que o melhor exemplo é um Raspberry Pi”, disse ele. “Temos muitas demonstrações que mostram que, na verdade, funciona muito rápido no Raspberry Pi.” As medições relatadas pela empresa indicam uma taxa de transferência de aproximadamente 220 tokens por segundo em um Apple M5 Max e 113 tokens por segundo em um AMD Ryzen AI Max+ 395, usando menos de 2,5 GB de memória – e cerca de 30 tokens por segundo em um smartphone.
Os usuários podem experimentar os modelos em seus telefones por meio do Apollo, o aplicativo móvel da Liquid AI. No outro extremo do espectro de implantação, a Liquid AI relata que o modelo atinge quase 15.000 tokens de saída por segundo em uma única GPU Nvidia H100 sob carga simultânea sustentada – cerca de 1,3 bilhão de tokens por dia em uma placa. Esses números são referências de fornecedores e não foram verificados de forma independente. Para Labonne, o consumo de memória e a velocidade não são conveniências, mas restrições rígidas que determinam o que pode ser implantado. “O que queremos mostrar é que é uma troca muito boa, porque você obtém o nível de qualidade que obtém com modelos muito maiores, mas em um formato minúsculo”, disse ele.
"Você pode implantá-lo em dispositivos de destino onde não é possível implantar os outros."
Treinado para agentes em vez de chatbots
Estendido bem além dos alvos agênticos. "Através dessas novas técnicas de treinamento, também ficamos muito melhores em tudo. Ficamos melhores em matemática, em instrução seguinte. Nunca fomos bons em código, na verdade — e com isso, até ficamos muito bons em código ", disse ele.
Construindo o modelo — e o arnês
Notavelmente, a Liquid AI também construiu seu próprio arnês de agente, em vez de confiar apenas em estruturas existentes, e demonstrou o modelo em execução em um telefone, planejando e chamando ferramentas inteiramente no dispositivo. "Este é um arnês ligado a um telefone, e não sei se há outro arnês ligado a um telefone", disse Labonne. A empresa tinha dois motivos, explicou. A primeira era a necessidade — não existia um arnês nativo do telefone. O segundo é um modelo de interação diferente: os arreios de hoje esperam por um prompt, e a Liquid AI quer assistentes que ajam por conta própria.
