.webp){kind=small}
Essa base técnica permitiu à empresa tomar várias decisões arquitetônicas deliberadas, incluindo a construção de uma plataforma de IA centralizada em toda a empresa com governança integrada, a personalização profunda de modelos abertos com dados proprietários e a construção de seu próprio equipamento de orquestração multiagente.
Personalização de modelos de peso aberto com dados proprietários
Em vez de depender apenas de modelos de fronteira prontos para uso, a Capital One ajusta os modelos de peso aberto usando seus dados ricos e proprietários. “Vemos os nossos dados como uma enorme vantagem e algo que ninguém mais tem, algo que os modelos de fronteira geral não podem fornecer. Por isso, estamos pegando nesses dados e a personalizar profundamente estes modelos”, explicou Vanee. Ele acrescentou que os dados em tempo real são absolutamente essenciais para trazer um novo contexto durante as interações ao vivo com clientes ou associados. Vanee também revelou um benefício inesperado desta abordagem: extensibilidade em toda a empresa.
“À medida que personalizamos esses modelos de código aberto para um caso de uso, vemos benefícios em todo o nosso portfólio”, observou ele. "Estamos treinando esse modelo para ser um especialista em casos de uso, políticas e nomenclatura da Capital One. À medida que fazemos esse treinamento, vemos um aumento geral."
Por dentro do fluxo de trabalho de IA multiagente da Capital One
Como exemplo da abordagem, Vanee apontou um fluxo de trabalho de atendimento ao cliente para fraudes bancárias que lida com milhões de chamadas por ano, onde as interações variam de aproximadamente quatro minutos a sessenta minutos, e onde uma tentativa inicial de envolver um único modelo de linguagem grande se mostrou insuficiente. Com o fluxo de trabalho multiagente (MACAW) da Capital One, as interações são roteadas por meio de agentes especializados com governança e proteções integradas. “O fluxo de trabalho do MACAW é composto por vários agentes diferentes”, disse ele. “O primeiro é um agente compreensivo.
Seu objetivo é olhar o que o cliente está dizendo e tentar entender qual é a sua intenção.” A partir daí, um agente raciocinador recebe diversas instruções específicas para gerar um resumo; um agente de validação verifica os fatos do resumo para garantir que seja preciso; e um agente explicativo transforma o resumo em um documento formatado com todos detalhes necessários que são então compartilhados com os agentes. Para o caso de uso de serviços bancários ao consumidor, esse fluxo de trabalho ajuda centenas de agentes de atendimento ao cliente especializados em chamadas fraudulentas complexas. Os resumos pós-chamada gerados ajudam a documentar interações longas e de ida e volta que os agentes anteriormente tinham que reconstruir manualmente.
A arquitetura multiagente da Capital One também sustenta o Chat Concierge, um assistente de compras automáticas voltado para o cliente, que aproveita ainda mais uma versão do modelo Llama de peso aberto da Meta que foi personalizado com dados proprietários da Capital One. Utiliza a mesma divisão de trabalho, com um agente conversando com o cliente, outro construindo um plano de ação a partir de regras de negócios, outro avaliando a precisão e outro explicando e validando o resultado.
Otimizando latência e custo com um sistema de pesquisa de agente
Além das soluções voltadas para o cliente, a Capital One também está aproveitando a IA de agência para automatizar tarefas rotineiras para seus funcionários e ajudá-los a se concentrar em aspectos de alta alavancagem de seu trabalho. Em um exemplo, a empresa construiu uma solução autônoma de otimização de agente para ajustar a infraestrutura de hospedagem de back-end. Vanee explicou que no mundo dos LLMs, onde novas otimizações são entregues todos os dias, nem todas são complementares. A combinação de duas boas otimizações às vezes pode causar uma regressão de desempenho.
“Este sistema de agência percorrerá um espaço de busca projetado pelo pesquisador, lidará com toda a mecânica de configuração e execução do experimento e, em seguida, colocará um resumo completo dos resultados na frente do pesquisador”, disse Vanee. Vanee acrescentou que o sistema permite aos pesquisadores “encontrar a série de otimizações e configurações que realmente proporcionarão a melhor latência possível”.
O que vem a seguir: roteamento de modelo e IA proativa e orientada a eventos
Olhando para o futuro, uma grande tendência que Vanee vê é o roteamento de camadas de abstração que uma plataforma busca validar em vários modelos, tanto em termos de custo quanto de precisão. "Na verdade, achamos que é possível obter melhor precisão do que qualquer modelo individual simplesmente percorrendo um conjunto mais amplo de modelos disponíveis, porque diferentes modelos se destacarão em diferentes áreas", disse ele. A sua segunda previsão foi uma mudança em direção a sistemas que actuassem sem esperar que fossem solicitados, ao mesmo tempo que enfatizava que a implantação de tais agentes proactivos exigiria testes e monitorização rigorosos. “Acho que o que vai se tornar maior no futuro é uma IA mais proativa e orientada a eventos”, disse Vanee.
Em vez de esperar por um alerta humano, a IA interviria assim que detectasse condições que justificassem uma ação. “Isso permitirá mais monitoramento e monitoramento em maior escala, e nos capacitará à medida que combatemos a fraude e abordamos essas oportunidades”, disse Vanee. "Portanto, a IA proativa será uma tendência realmente importante."
Impulsionando a inovação contínua de IA em serviços financeiros
A abordagem da Capital One destaca uma verdade mais ampla para os líderes de tecnologia empresarial: gerar valor mensurável com IA exige ir além do software pronto para uso em direção a arquiteturas profundamente personalizadas e altamente governadas. Ao combinar modelos abertos ajustados, um conjunto de orquestração multiagente e ativos de dados proprietários, o banco estabeleceu um modelo repetível para a implantação de IA escalável em serviços financeiros. “Todos esses ingredientes foram absolutamente essenciais para nos diferenciarmos neste espaço e atingirmos os padrões de qualidade, bem como os limites de custo e latência que estabelecemos para nós mesmos”, disse Vanee.
| ℹ️ | Nota do editor: O AR NEWS 24H publica conteúdos baseados em fontes externas. As informações e opiniões presentes no material original são de responsabilidade de seus respectivos autores. Este conteúdo foi traduzido e adaptado para o português do Brasil com o auxílio de ferramentas automatizadas. |
