.webp){kind=small}
Por que importa: Enquanto isso, o restante da indústria de inteligência artificial seguiu em frente.
A vasta maioria dos dados de negócios é tabular — vivendo em armazéns de dados, CRMs e livros-razão —, no entanto, construir um modelo confiável a partir deles ainda significa treinar um novo modelo do zero para cada conjunto de dados, além de manter loops de ajuste de hiperparâmetros, engenharia de recursos e pipelines de retratamento para combater a deriva de dados.
configuração. Uma vez implantados, esses modelos tradicionais "acumulam uma dívida operacional contínua por meio do monitoramento do desvio de dados e pipelines de retreinamento para manter a precisão", disse Weihao Kong, cientista de pesquisa do Google pesquisa, à VentureBeat. Enquanto isso, o restante da indústria de inteligência artificial seguiu em frente.
Modelos de inteligência artificial gener Hoje em dia, é muito mais eficaz usar um LLM para escrever o código que lida com o engenharia de recursos e chama o XGBoost do que pedir ao LLM para ler a tabela em si, disse Kong. O que é TabFM? Para executar inferência com o TabFM, você não atualiza os pesos do modelo.
Impactos: Para executar inferência com o TabFM, você não atualiza os pesos do modelo.
Em vez disso, você pega seus exemplos históricos (as linhas de trein arquiteturas experimentais anteriores, TabPFN e TabICL. TabPFN, desenvolvida pelos Laboratórios Prior, provou pela primeira vez que uma arquitetura de transformer poderia realizar classificação zero-shot em pequenas tabelas, embora tivesse dificuldade em escalar computacionalmente para conjuntos de dados maiores.
Mais tarde, TabICL, desenvolvida pelo Instituto Nacional de Pesquisa em Ciência e Tecnologia Digital Representação vetorial densa. TabICL foi pioneiro nisso ao usar tokens CLS para compressar as informações ricas de uma linha em um único vetor, "ao contrário de TabPFN v2, v2.5 e v2.6, que atuam sobre a grade de células completa em toda a rede", explicou Kong.
Isso reduz drasticamente a pegada computacional. Aprendizado em contexto: um Transformer causal opera sobre essa suíte de avaliação que abrange 51 conjuntos de dados tabulares diversificados em 38 tarefas de classificação e 13 tarefas de regressão. Nesses benchmarks públicos, as previsões de zero disparo do TabFM já são iguais ou superam as linhas de base supervisionadas fortemente ajustadas.
Resumo final: Em vez disso, você pega seus exemplos históricos (as linhas de trein arquiteturas experimentais anteriores, TabPFN e TabICL.
No entanto, o Google tem o cuidado de notar que isso não significa automaticamente que o TabFM universalmente d Algoritmos, o treinamento é lento e caro, mas a inferência é extremamente rápida e barata. TabFM inverte essa dinâmica. Enquanto o tempo de treinamento cai para zero, a inferência se torna significativamente mais pesada.
Como o modelo deve processar todo o conjunto de dados históricos como contexto durante cada previsão, ele requer mais capacidade de processamento e memória em tempo de colunas, trabalha diretamente com DataFrames do pandas e não requer codificadores ordinais manuais ou escaladores numéricos. A biblioteca suporta backends JAX e PyTorch.
No entanto, as equipes empresariais precisam estar cientes das atuais limitações e restrições de licenciamento. A arquitetura do modelo tem um limite rígido de 10 classes de saída para tarefas de class Ambientes e conjuntos de dados de pequeno a médio porte com menos de cem mil linhas são ideais para utilização.
Por outro lado, equipes devem manter os modelos tradicionais para APIs com latência extremamente baixa ou tabelas massivas que ultrapassam um milhão de linhas, o que atualmente exige amostragem agressiva de linhas, o que degrada a vantagem competitiva do modelo base
Fonte original:
Google's TabFM skips per-dataset training and still predicts on tables it's never seen
Categorias: Ciência e Tecnologia, IA
Marcador: Notícias
.jpg)
.webp)
.webp)
.jpeg)
