.webp){kind=small}
Contexto: A recente decisão da Deep Seek de reduzir drasticamente os preços de seu modelo V4-Pro em 75% deveria ter sido inequivocamente uma boa notícia para fornecedores e desenvolvedores de IA empre...
A recente decisão da Deep Seek de reduzir drasticamente os preços de seu modelo V4-Pro em 75% deveria ter sido inequivocamente uma boa notícia para fornecedores e desenvolvedores de IA empresarial. Em vez disso, muitos estão a descobrir que modelos mais baratos não se traduzem automaticamente em margens mais saudáveis.
A razão é simples: embora os custos de inferência despenquem, os sistemas de agentes consomem tokens vorazmente mais rápido do que os preços diminuem. Nas últimas duas décadas, a economia do software foi ditada pela mesma regra. A infraestrutura ficou mais barata a cada ano, enquanto os aplicativos se tornaram mais capazes.
A hipótese inicial foi que a IA seguisse o mesmo padrão. À medida que os modelos de fronteira melhoraram e os preços dos tokens caíram, muitos assumiram que a inferência se tornaria uma despesa operacional insignificante. Essa suposição começou a desmoronar-se exponencialmente. Um chatbot geralmente transforma uma pergunta do usuário em uma chamada de modelo.
Um agente o transforma em uma cadeia de decisões de planejamento, recuperação, uso de ferramentas, verificação, resumo e acompanhamento. O usuário vê uma resposta. O fornecedor paga pelo loop. Esse é o problema 100x: a mesma solicitação visível ao usuário pode custar muito mais para servir como um fluxo de trabalho de agente do que como um chatbot ou uma resposta de geração aumentada de recuperação (RAG).
Em fluxos de trabalho de longa duração, o multiplicador é maior. A queda dos preços dos modelos ajuda, mas não corrige uma arquitetura de produto que transforma um prompt em dezenas de operações faturáveis. A escala do que está agora em jogo é clara na forma como os próprios fornecedores de modelos estão a definir os preços das relações com os criadores.
O programa proposto pela Open AI para dar a cada startup Y Combinator R$ 10 milhões em créditos de API – um número que teria financiado uma rodada inicial inteira em qualquer ciclo tecnológico anterior, e quando o mesmo grupo sobreviveu com alguns milhares de dólares de créditos da AWS – é menos uma vantagem de recrutamento do que uma admissão do que custa agora administrar uma empresa nativa de IA durante seu primeiro ano de produto.
Para empresas estabelecidas que adaptam agentes às linhas de produtos existentes, os números absolutos são ainda maiores. O que é amplificação de token Em um chatbot de turno único, uma mensagem do usuário produz aproximadamente uma chamada de modelo. A relação entre insumos e faturamento é de cerca de 1:5.
Em um agente de várias etapas implementado em suporte ao cliente, operações de vendas, finanças, revisão jurídica e engenharia, essa proporção costuma ser de 1:700 ou superior . Cada iteração do loop transporta a conversa cumulativa, os resultados da ferramenta e os rastros de raciocínio. Cada etapa é anexa; nada é descartado.
Uma consulta "simples" do agente, como “O que nosso principal cliente perguntou na semana passada?” normalmente toca sete operações com preços antes de retornar uma resposta: Prompt do usuário (~50 tokens) Prompt do sistema e definições de ferramenta (~3.000 tokens, repetidos em cada chamada) Recuperação (~5.000 tokens de contexto) Chamada de modelo nº 1 - seleção de ferramenta (8.000 entradas / 200 saídas) Execução da ferramenta (~4.000 tokens retornados) Chamada de modelo nº 2 - resumo (12.000 entradas / 400 saídas) Chamada de modelo nº 3 - decisão de acompanhamento (12.400 entradas / 100 saídas) Uma frase inserida, aproximadamente 35.000 tokens de entrada cobrados.
Detalhes: Em vez disso, muitos estão a descobrir que modelos mais baratos não se traduzem automaticamente em margens mais saudáveis.
Em algum lugar entre R$ 1 e R$ 2 por consulta em um modelo de fronteira. Multiplique isso por um milhão de consultas por mês - o volume mínimo para qualquer recurso empresarial B2B - e o item de linha terá seis dígitos. Por que isso quebra o modelo de negócios de IA existente A história de preços dominante para IA corporativa tem sido o Saa S baseado em assento: pagamento por usuário, por mês, entrega de capacidade de agente, margem de captura.
Esse modelo pressupõe um custo por usuário razoavelmente limitado. A amplificação de token quebra a suposição. Um usuário avançado executando 50 chamadas de agente por dia em um plano de R$ 200/assento pode custar mais em inferência do que o plano cobra. A amplificação de token destrói o modelo tradicional de preços Saa S.
Quando a atividade diária do agente de um usuário avançado custa mais em inferência do que sua taxa de assinatura mensal, as margens brutas do fornecedor tornam-se negativas, um paradoxo que se agrava à medida que os clientes aprofundam a adoção do agente, a própria curva de uso que os fornecedores estão vendendo aos seus conselhos.
Vários fornecedores estão agora relatando, de forma privada, margens brutas negativas sobre usuários pesados, refletindo relatórios recentes de gastos em nuvem da coorte 'Supernova' de Bessemer, onde a correlação entre a adoção do agente de IA e a contração da margem bruta passou de um nível teórico risco de um vento contrário primário no P&L.
Os sintomas visíveis começaram a vazar para a cobertura pública. A Bloomberg documentou esta semana uma lacuna cada vez maior entre as demonstrações de marketing Agentforce da Salesforce e os recursos realmente enviados aos clientes. Este é o tipo de lacuna que se abre previsivelmente quando a funcionalidade prometida é tecnicamente possível, mas antieconômica, para servir ao preço que o plano de assentos implica.
Salesforce é o caso mais assistido, não o único. “Para minha equipe, o custo da computação está muito além dos custos dos funcionários.” — Bryan Catanzaro, vice-presidente de Applied Deep Learning, Nvidia A implicação estratégica não é “IA é cara”. Acontece que o modelo de negócios dominante assumido pela maioria dos planos empresariais nativos de IA não sobrevive ao contato com cargas de trabalho de agentes.
Um exemplo simples Considere um fornecedor de software empresarial cobrando R$ 200 por usuário, por mês, por um assistente de suporte habilitado para IA. Um chatbot tradicional pode custar apenas alguns centavos por usuário por dia em inferência, deixando margens brutas saudáveis. Agora substitua esse chatbot por um fluxo de trabalho totalmente agente, capaz de investigar tickets, consultar sistemas internos, redigir respostas, validar resultados e escalar exceções.
Se um usuário pesado executar de 50 a 100 solicitações de agente por dia, o consumo de inferência poderá aumentar em uma ordem de grandeza. O que antes era um custo de infraestrutura insignificante torna-se uma despesa operacional significativa. Isto cria uma dinâmica incomum: os clientes que recebem mais valor do produto são frequentemente os clientes que geram os custos de inferência mais elevados.
Em casos extremos, os fornecedores podem ter seus usuários mais engajados contribuindo com o menor lucro. O resultado é uma percepção crescente em todo o software empresarial de que a adoção de agentes e a expansão de margens não são mais alinhado automaticamente. A orquestração de agentes é o novo fosso.
Conclusão: Devansh Agarwal trabalha como engenheiro de aprendizado de máquina em uma das principais empresas de tecnologia.
As respostas técnicas são conhecidas e convergentes. Eles não são novos, mas são essenciais para a sobrevivência. Roteamento consciente de custos: esta técnica envolve um pequeno modelo classificador que decide qual camada (equivalentes Haiku, Sonnet, Opus) lida com cada consulta. Roteadores bem ajustados reduzem as contas de inferência em cerca de 60% sem qualquer degradação na qualidade do cache de prompt: Anthropic, Open AI e Google agora oferecem descontos de 75 a 90% em prefixos armazenados em cache.
Disciplina de contexto: você pode truncar saídas de ferramentas, remover rastros de raciocínio e limitar a profundidade da ferramenta para evitar que seu agente entre na toca do coelho. Decodificação especulativa: para implantações auto-hospedadas, esta técnica garante uma taxa de transferência efetiva de 2 a 3X nas mesmas GPUs.
"Organizações que usam governança liderada por orquestração relatam ganhos de produtividade mais fortes — uma camada de orquestração holística está associada a um impacto de produtividade seis vezes maior do que abordagens somente de conformidade" — IBM As empresas que constroem bem essa camada estão começando a se parecer menos com operadores de microsserviços e mais com sistemas de negociação financeira: cada decisão de roteamento tem um preço, cada caminho com seu próprio P&L, cada inquilino com um orçamento medido.
O que os líderes empresariais deveriam realmente fazer Nossas medidas separam as empresas que ainda terão margem em 24 meses daquelas que não terão: Fazer da inferência do custo uma métrica de primeira classe. Acompanhe-o por recurso, por locatário e por classe de consulta da mesma forma que o custo da nuvem foi rastreado a partir de meados da década de 2010.
Faça um orçamento como um comprador de mídia. Defina limites máximos de custo por mil consultas por recurso. Tampe-os. Alerta sobre ultrapassagens. A engenharia não irá impor isso sozinha. Trate o roteador como uma infraestrutura central, não como uma otimização. É o novo balanceador de carga. Solicitações de auditoria trimestralmente.
Um prompt do sistema de 4.000 tokens que cresceu organicamente ao longo de seis meses é uma conta de seis dígitos em câmera lenta. A maioria das equipes nunca leu seus próprios prompts de produção de ponta a ponta. Negocie compromissos de volume antecipadamente. Os fornecedores do modelo Frontier agora oferecem commits pré-pagos no estilo de instância reservada com descontos substanciais.
O preço de tabela é o pior preço que qualquer empresa pagará. Nos próximos 24 meses A mudança estrutural por trás da IA agente não é que seja cara. Como sublinha o corte de preços da Deep Seek hoje, os custos unitários de inferência de fronteira estão caindo cerca de 3 vezes por ano, e a curva não está desacelerando.
A mudança é que a amplificação está a ultrapassar os cortes de preços. Cortar os custos por token em 75% não ajuda uma empresa cujos agentes estão fazendo 700 vezes mais tokens por consulta do usuário do que seu modelo de precificação supunha. Pela primeira vez desde o início da era da nuvem, as decisões de arquitetura são novamente financeiras decisões em tempo real.
Um redesenho imediato é um evento marginal. Um loop de agente mal vinculado é uma interrupção com um cartão de crédito anexado. As empresas que sobreviverem aos próximos 24 meses de preços de infraestrutura de IA não serão as que utilizarão o modelo mais barato. Serão aqueles cujos agentes serão inteligentes e Sabe o quanto custa pensar?
É o problema 100X. E ele chega mais rápido do que os cortes de preço podem esconder. Maitreyi Chatterjee é uma engenheira sênior de software em uma grande empresa de tecnologia. Devansh Agarwal trabalha como engenheiro de aprendizado de máquina em uma das principais empresas de tecnologia.
Fonte original:
DeepSeek cut prices 75%. The 100x problem remains
Categorias: Ciência e Tecnologia, IA
Marcador: Notícias
ARNews Notícias. Preenchendo a necessidade de informações confiáveis. Todos os direitos reservados.
Texto gerado por IA.
