.webp){kind=small}
A pista de decolagem passou semanas tentando engenharia sua saída de um bug obstinado: avatares gerados por inteligência artificial se deslocavam para fora do centro durante a geração de vídeo em tempo real. A solução não era uma atualização de back-end — era uma nova característica de front-end que apenas contornava o problema. Essa é a lição que Ryan Phillips, chefe de produto de empresa em Runway ML, passou por VB Transform 2026, argumentando que mesmo as empresas que não estão construindo modelos de fundação por si mesmas podem aprender com a forma como a Runway os constrói, avalia e os embarca.
"Acho que, mesmo se vocês não estiverem todos construindo modelos por si mesmos, é útil aprender como fazemos isso porque acho que quase todas as lições são aplicáveis ao que vocês fazem todos os dias", disse Phillips.
A Runway é uma empresa de pesquisa de inteligência artificial aplicada que constrói modelos mundiais gerais para alimentar ferramentas geradoras. Durante sua apresentação, Phillips mostrou a Runway Characters, um modelo de vídeo em tempo real que permite interações zero-latência, de ida e volta, com avatares gerados por inteligência artificial. Cinco anos atrás, criar um vídeo com texto ilegível e baixa taxa de quadros levava artistas a centenas de horas de costurar quadros individuais juntos, disse ele. Hoje, os modelos da Runway geram vídeo interativo em tempo real.
"Estudar como construímos esses modelos em tempo real pode inspirar como vocês construem e implantam experiências em tempo real, seja agente ou não, em suas empresas hoje", disse ele.
Desmistificando avaliações.
Construir um produto de inteligência artificial robusto começa com um conjunto de avaliação de alta qualidade. No entanto, criar esse conjunto não pode ser tratado como uma tarefa exclusivamente de engenharia. Ele exige uma alinhamento profundo interfuncional entre produto, design, pesquisa e vendas para definir o que "qualidade" realmente significa.
Phillips enfatizou a realização de workshops internos onde os membros da equipe revisam exemplos gerados juntos. O objetivo é alinhar toda a organização em específicos modos de falha para que todos compartilhem uma definição unificada de uma geração bem-sucedida.
"Nós passamos muito tempo trabalhando com nossa equipe, passando por exemplos... de que o sucesso e a falha são, até os detalhes muito, muito detalhados e exigentes", disse Phillips.
O conjunto de avaliação resultante deve cobrir casos de uso de clientes amplos ao lado de casos de extremidade. Por exemplo, Phillips destacou que para garantir que o modelo se comporte de forma previsível quando empurrado além de estruturas faciais humanas padrão, eles usaram "Dente", um personagem não humano sem nariz e com dentes muito incomuns.
Ao avaliar essas gerações, a equipe da Runway procura por artefatos sutis. Em um exemplo, um vídeo em que o rosto de um personagem permaneceu intacto, mas elementos de fundo, como uma rede, começaram a se transformar foi classificado como uma falha estrita.
Apesar da natureza de ponta de produto, a ferramenta que a Runway usa para rastrear essas avaliações é simples: uma planilha do Excel. A equipe registra testes diariamente, categorizando saídas como "menores" ou "maiores" falhas contra uma taxa de passagem predeterminada.
"Nós definimos um bar antes de começarmos a trabalhar em que porcentagem precisamos passar, e quando atingimos isso, embarcamos o modelo", disse Phillips. "Então não é mágico.”
Para desenvolvedores de empresas que enfrentam deslizes de qualidade não determinísticos em suas próprias pipelines em tempo real, a avaliação manual a escala é um gargalo. Para resolver isso, Phillips observou que os desenvolvedores podem se basear em modelos de linguagem para automatizar o processo de avaliação visual.
“LLMs estão se tornando muito bons em ser juízes para muitos desses conteúdos, especialmente os tipos de transformação ou mudança que você veria em um conjunto de avaliação,” disse ele. As equipes também podem alimentar um LLM com contexto por trás das cenas (por exemplo, um esboço manual ou a estrutura de layout de um anúncio) para guiar os processos de geração e validação, garantindo qualidade sem adicionar carga cognitiva ao usuário final.
Treinamento de modelo e transformando bugs em recursos.
Entregar vídeo gerativo em tempo real requer uma pilha técnica altamente otimizada. O processo começa com a pré-treinamento de um modelo de fundação massivo, que é intensivo em recursos e lento para gerar saídas. Para alcançar latência em tempo real, a Runway se baseia na distilação, onde um modelo menor e mais rápido "estudante" é treinado para imitar o modelo grande "professor". De acordo com Phillips, a distilação ajuda a Runway a reduzir "80 a 90% do tempo de geração.”
A equipe então aplica a pós-treinamento adversarial (APT) ao modelo distilado. Essa técnica força o modelo a melhorar continuamente ao testá-lo contra um sistema projetado para encontrar seus erros, ajudando a recuperar a nitidez visual perdida durante o processo de distilação no entanto, alterar a arquitetura do modelo introduz novos problemas. As fases de distilação e APT introduziram um bug obstinado: os personagens balançavam ou se deslocavam do centro da cena durante a geração em tempo real.
A equipe passou semanas tentando corrigir o modelo de base para eliminar o deslize, disse ele. No final, eles descobriram que, se a imagem de entrada inicial do usuário estivesse perfeitamente centrada, o vídeo gerado permanecia estável. Em vez de gastar mais tempo em uma correção de engenharia de backend, a Runway se virou para uma solução de experiência do usuário.
“O que fizemos foi, quando notamos isso em nossas avaliações, então dissemos: 'O que se passa se oferecermos isso como um recurso?' Se um usuário nos der um personagem virado para a esquerda, sabemos que o vídeo vai se transformar. Vamos apenas corrigir isso para eles,” disse Phillips.
Eles introduziram uma característica de frontend chamada "Optimize for Image Quality" (Otimizar a Qualidade da Imagem), que re-centraliza automaticamente a imagem do usuário antes que a geração comece. Ao envolver uma limitação de modelo de backend em uma ferramenta de frontend, os usuários perceberam uma característica útil em vez de um erro de engenharia.
“Vire as limitações do modelo em recursos do produto para que você possa realmente expandir como o modelo funciona,” aconselhou Phillips. “Isso pode parecer uma limitação internamente, mas seus clientes não verão assim se você estiver construindo isso como um recurso do produto.”
O diabo está nos detalhes da infraestrutura.
Entregar vídeo globalmente a 24 quadros por segundo requer otimizar cada camada da pilha de infraestrutura. Isso abrange desde a cache e a decodificação paralela até a criação de núcleos de kernel.
Mudanças em parceria com fornecedores de hardware como a Nvidia.
Logo após o lançamento do Runway Characters, ele disse que a equipe notou que 8% das chamadas de API estavam caindo para 16 frames por segundo, causando que o vídeo travasse para os clientes.
Encontrar a causa raiz exigia uma observabilidade profunda. A equipe usou um agente de IA alimentado pelo Claude, juntamente com ferramentas de monitoramento como Datadog e Sentry, para rastrear a anomalia. A sessão de depuração isolou o problema em um único centro de dados na região us-east-1.
"A solução na verdade não foi consertar ou alterar algo", explicou Phillips. "Eles simplesmente foram e substituíram fisicamente essas GPUs no centro de dados para consertar, e isso resolveu os problemas."
Para equipes de empresas que implantam aplicações em tempo real, a lição é clara: anomalias de hardware e infraestrutura afetarão diretamente o desempenho do modelo, exigindo capacidades de depuração rigorosas e completas.
"Não esqueça de todos os pequenos detalhes, porque há muitos deles quando você está implantando esses modelos", disse Phillips.
Sobrevivendo ao "inferno da falha" e o futuro da criação de mundos.
Desenvolver sistemas de IA raramente é um processo linear. As equipes frequentemente se encontram presas por semanas em um único problema sem fim à vista, uma fase que Phillips se referiu como "inferno da falha".
"Achamos que você tem que passar por essa dor e realmente lutar com o problema por um pouco antes de poder ter o avanço", disse ele. A iteração consistente eventualmente achatou a curva de dificuldade, desencadeando melhorias repentinas e exponenciais.
À medida que os modelos subjacentes superam esses obstáculos técnicos, o papel dos criativos de empresas também está mudando fundamentalmente. Tradicionalmente, as equipes de marketing e design se concentraram em criar ativos únicos, como um anúncio específico ou ilustração. Em uma era de geração em tempo real e fluxos de trabalho agênticos, esse paradigma está mudando em direção à definição de parâmetros, estética e propriedade intelectual.
"Você pode não estar projetando um único anúncio, mas pode projetar um mundo que, em seguida, o agente ou um modelo de vídeo em tempo real pode gerar anúncios", disse Phillips.
| ℹ️ | Nota do editor: O AR NEWS 24H publica conteúdos baseados em fontes externas. As informações e opiniões presentes no material original são de responsabilidade de seus respectivos autores. Este conteúdo foi traduzido e adaptado para o português do Brasil com auxílio de ferramentas automatizadas. |
.jpg)
.webp)
.jpeg)
.webp)
