.webp){kind=small}
Entenda: As empresas estão superestimando o quanto estão atrasadas em relação aos agentes de IA
Apresentado pela Red Hat No recente evento AI Impact da VentureBeat, onde a discussão se centrou no que separa as empresas que escalam a IA de agente daquelas que param no modo piloto, Brian Gracely, diretor sênior de estratégia de portfólio da Red Hat, detalhou o que as empresas realmente enfrentam quando os agentes atingem a produção.
Ele mergulhou na disciplina de custos, nos pontos cegos de segurança exclusivos dos sistemas autônomos e no atrito organizacional que determina se a adoção dos agentes se espalha além dos primeiros campeões. As empresas estão superestimando o quanto estão atrasadas em relação aos agentes de IA. Muitos líderes empresariais, especialmente aqueles que acompanham as palestras do setor e os anúncios de IA, temem que já estejam perigosamente atrás dos concorrentes que implantam agentes em grande escala.
Mas, de acordo com Gracely, grande parte dessa ansiedade reflete um equívoco sobre a rapidez com que as organizações aprendem quando começam a construir. As equipes geralmente avançam na curva de aprendizado muito mais rápido do que esperam. Esse rápido progresso cria um desafio diferente, no entanto.
À medida que o uso dos agentes se expande, os custos da IA aumentam com a mesma rapidez, transformando o gerenciamento de custos de uma preocupação de engenharia em uma discussão recorrente na diretoria. O uso da Agentic AI são pedidos de magnitude maior do que durante a era do chatbot, tornando os custos da IA uma preocupação crescente para as empresas.
Ao mesmo tempo, as organizações estão a tornar-se cada vez mais conscientes da sua dependência de um pequeno número de fornecedores modelo. De acordo com Gracely, essa combinação está a levar muitas empresas a explorar alternativas que lhes proporcionem maior controlo sobre custos e infra-estruturas.
Por dentro: Mas, de acordo com Gracely, grande parte dessa ansiedade reflete um equívoco sobre a rapidez com que as organizações aprendem quando começam a construir
“Os dois ou três principais fornecedores já estão dizendo ao mercado que estão perdendo dinheiro e estão tentando abrir o capital para preencher essas lacunas”, explicou. “Em algum momento, a dependência disso significa que ou você vai comprar com um custo muito alto ou vai descobrir alternativas para controlar o que está fazendo.
” O dimensionamento correto dos modelos de IA é a alavanca mais rápida para reduzir os custos dos agentes. O maior problema de custo é que as empresas gastam demais ao optar pelo modelo mais capaz disponível, independentemente da complexidade da tarefa. “Se estou simplesmente tentando resolver uma reclamação de seguro, não preciso saber sobre a história da civilização ocidental no meu modelo, não preciso saber os resultados da Copa do Mundo de futebol”, disse Gracely.
O roteamento semântico é o muitas empresas usam para fazer esse julgamento automaticamente, classificando as solicitações e enviando cada uma para um modelo dimensionado para a tarefa sem exigir que os usuários escolham, enquanto as técnicas de infraestrutura, como o armazenamento em cache de consultas repetitivas, reduzem a frequência com que uma solicitação precisa alcançar a computação da GPU.
Juntas, disse ele, essas ferramentas eliminam a suposição de que a eficiência e a inovação puxam em direções opostas. "Há muito que se pode fazer numa GPU nível de infraestrutura, e bastante coisa que você pode fazer em termos de flexibilidade de modelos ”, explicou. "Estes dão excelentes escolhas em termos das alavancas que você está tentando puxar, se você precisa de eficiência ou de inovação.
Essa não deve ser uma escolha binária. " A disciplina financeira necessária para os gastos com tokens é semelhante às práticas de FinOps que levaram anos para amadurecer para assumir o controle dos gastos com computação em nuvem. Essas estruturas subjacentes serão transferidas mesmo que o vocabulário mude, disse Gracely, especialmente à medida que as organizações pressionam pela educação interna na seleção de modelos para que as equipes parem de optar pela opção mais proeminente para tarefas que não precisam dela.
Síntese: As equipes geralmente avançam na curva de aprendizado muito mais rápido do que esperam
"Da mesma forma que primeiro tivemos que ensinar o financeiro o que é uma instância EC2 e o que é um bucket S3, você vai ter que começar a explicar os tokens para eles ", disse ele. "Nem sempre precisamos de um Rolls-Royce. Nem sempre precisamos de caviar, porque estamos a tentar fazer tipos básicos de coisas.
"A velocidade dos patches agora é crítica, pois as ferramentas de IA descobrem vulnerabilidades mais rapidamente A descoberta de vulnerabilidades alimentada por IA está forçando as empresas a repensar a rapidez com que podem identificar, validar e implantar patches. Os ciclos de gerenciamento de patches estabelecidos há muito tempo podem não ser mais rápidos o suficiente em um ambiente onde a IA pode descobrir — e os invasores podem explorar — novas vulnerabilidades muito mais rapidamente.
"A maioria das empresas provavelmente terá uma janela entre sete e 14 dias para ficar à frente", disse ele. "Há grupos, incluindo a Red Hat, que vão criar patches para isso, mas a janela de embargo vai ser curto. " A IA também está mudando o que os defensores precisam procurar. Em vez de simplesmente descobrir falhas críticas isoladas, as ferramentas de segurança de IA podem identificar combinações de vulnerabilidades aparentemente menores que se tornam perigosas apenas quando encadeadas.
Como a complexidade do software e acelerar a descoberta de vulnerabilidades, Gracely argumentou que a capacidade de gerenciar e atualizar software rapidamente está se tornando uma capacidade estratégica e não simplesmente operacional. Especialistas no assunto e equipes de conformidade decidem se os agentes escalam.
No final, a adoção organizacional se resume à necessidade de envolvimento profundo e sustentado dos especialistas no assunto cujo conhecimento o agente deve codificar, o que torna a obtenção de sua adesão um pré-requisito, e não uma reflexão tardia. “É preciso pensar nos incentivos, no que fazer para as pessoas que participam neste trabalho, para que não se sintam ameaçadas de que isso lhes tirará o emprego, e como incentivar as pessoas a cooperar com essa inovação a longo prazo”, disse ele.
Fonte original:
The real cost, security, and culture problems behind enterprise AI agents
Categorias: Tecnologia, IA
Marcador: Notícias
