.webp){kind=small}
Contexto: Você passa semanas ajustando um chatbot de IA.
Você passa semanas ajustando um chatbot de IA. As respostas são precisas. As partes interessadas assinam e você envia. Três meses depois, o sistema está confiantemente errado em cerca de um terço do que os usuários perguntam. Ninguém mudou o modelo e ninguém tocou nas instruções. O mundo mudou, os preços mudaram, uma política foi atualizada, uma especificação de produto enviou uma nova versão e o armazenamento de conhecimento subjacente não acompanhou isso.
Isto não é uma hipótese. Atualmente, é um dos modos de falha de produção mais comuns na IA empresarial, e a maioria das equipes de engenharia de dados não tem as ferramentas indicadas para detectá-lo, independentemente de como o sistema de IA recupera os dados. A falha que não parece uma falha Um aplicativo de IA não se importa se está recuperando de um armazenamento de vetores, de um índice de documento ou de uma chamada de API.
Seja qual for o mecanismo, nada em um pipeline de recuperação padrão verifica se o que está servindo continua correto. Um documento de preços obsoleto é recuperado com a mesma confiança que um documento atual, porque o sistema está avaliando a relevância ou a disponibilidade, e não a correção. Um registro com um campo ausente silenciosamente passa tão limpo quanto um completo, pelo mesmo motivo.
Então o fracasso e invisível por design. Dados desatualizados ou incompletos ainda têm alta relevância, ou passam em todas as verificações para as quais um pipeline de dados foi criado. O modelo responde com total confiança porque o contexto recuperado parece confiável. Cada painel que você está assistindo permanece verde.
O sistema parece estar funcionando. E simplesmente errado. Já vi uma versão semelhante disso acontecer fora do contexto de IA, em um pipeline de Fintech. Um sistema a montante alterou um campo sem notificar os utilizadores a jusante. O pipeline não falhou; ele simplesmente propagou valores incorretos nos painéis porque o sistema apenas verificava se o trabalho foi concluído, e não se os dados ainda estavam corretos.
O problema surgiu apenas quando um cliente percebeu algo inconsistente. A essa altura, os dados ruins já haviam sido transferidos para baixo. Quer se trate de um documento obsoleto ou de um campo que desapareceu silenciosamente, o formato da falha e o mesmo: a ausência de um erro não é a presença de correção e, sem a construção de camadas de validação adequadas, nada no pipeline poderia identificar o problema.
Porque este é um problema de engenharia de dados As equipes que enfrentam essa falha tendem a diagnosticá-la incorretamente e tendem a fazer isso duas vezes? Culpar o modelo: O primeiro instinto é culpar o modelo, tentar um KLM diferente, ajustar o prompt. O verdadeiro problema está mais a montante, na camada de engenharia de dados, o mesmo instinto por trás do fracasso da Fintech acima: monitoramento construído para o pipeline, não para os dados.
Culpar a camada de recuperação: uma vez descartado o modelo, o próximo instinto é culpar a camada de recuperação ou de contexto e comprar uma melhor. O momento não é uma coincidência: à medida que as empresas introduzem estes sistemas no mundo real da produção, esta lacuna é exatamente o que começa a surgir e a resposta dos fornecedores tem estado em todo o lado.
A AWS acaba de entrar na corrida da “camada de contexto” com um gráfico de conhecimento que aprende com o uso do agente. O novo Corixão Contexto e Córtex Sense do Emouquece têm como alvo o sintoma exato com o qual esta peça começou: agentes dando respostas erradas e confiantes porque nada governa a lógica de negócios abaixo deles.
Ambas são respostas reais para um problema real, mas estão uma camada acima dele; um gráfico de conhecimento ainda depende de tudo o que o alimenta. O verdadeiro problema está mais a montante, na camada de engenharia de dados. As equipes verificam se um trabalho foi executado, não se os dados que moveu ainda são verdadeiros, um instinto que antecede a IA em anos.
O monitoramento e criado para o pipeline, não para os dados. O que realmente está faltando: Observabilidade de dados A observabilidade de dados e um conceito bem conhecido que não recebe atenção suficiente na forma como é realmente implementado. A métrica relevante não é uma porcentagem – é a cobertura: que fração dos conjuntos de dados críticos tem uma linhagem que pode ser realmente consultada, em vez de viver apenas na cabeça de alguém.
A Uber construiu uma plataforma dedicada de qualidade de dados e observabilidade muito antes de existir a geração de recuperação aumentada. Sua plataforma unificada de qualidade de dados oferece suporte a mais de 2.000 conjuntos de dados críticos e detecta cerca de 90% dos incidentes de qualidade de dados antes que cheguem aos consumidores mainstream.
A Netflix resolveu uma parte diferente do mesmo problema, construindo um sistema de linhagem de dados para toda a empresa para que qualquer pessoa pudesse responder de onde veio um conjunto de dados e o que o tocou ao longo do caminho. Ele mapeia dependências entre tópicos Kafka, modelos de ML e experimentação, não apenas em tabelas de arejou-se.
Semelhante ao Uber, a plataforma foi construída para humanos e agora se tornou mais importante com o aumento dos aplicativos AI/KLM. Entre eles, Uber e a Netflix cobrem duas das quatro coisas pelas quais vale a pena construir. Na prática, penso nisso como quatro dimensões, cada uma mensurável nos seus próprios termos.
Correção: cada registro está conforme a forma e as regras que deveria, tipos de campo corretos, sem nulos inesperados, valores dentro do intervalo. Ferramentas como Greta Expectativas e Soda lidam bem com isso: validação automatizada ao nível de linha e coluna, em vez de verificações manuais após algo quebrar.
Acompanhe a porcentagem de registros que passaram na validação por execução. Atualização: os dados continuam atualizados em relação à sua
Fonte original:
AI agents aren't confidently wrong because of bad context — they're wrong because of bad data engineering
Categorias: Ciência e Tecnologia, IA
Marcador: Notícias
ARNews Notícias. Preenchendo a necessidade de informações confiáveis. Todos os direitos reservados.
Traduzido por AI
