.webp){kind=small}
Washington está tomada por um pânico em relação à inteligência artificial (IA), impulsionado pela perspectiva de modelos superinteligentes que podem nos levar à ruí. Os Nostradamus de hoje incluem denunciantes de empresas de IA de ponta — que estimam a probabilidade de a IA matar todos os humanos em mais de uma em dez e alertam que especialistas acreditam que isso pode acontecer antes do final da década — e ativistas antinucleares, que observam que não seria a primeira vez que a humanidade construiria algo capaz de nos matar. Os profetas da desgraça podem até estar certos, mas seu cenário se baseia em uma longa cadeia de suposições, cada uma altamente improvável por si só e muito menos provável de se concretizarem todas ao mesmo tempo.
Isso não significa que a IA não seja perigosa. Mas, ao nos fixarmos em cenários de baixa probabilidade e alto impacto, perdemos a visão geral: os perigos comuns e corriqueiros da IA já estão presentes e causando danos ativamente. O risco urgente da IA no qual Washington deveria se concentrar mais é o viés de automação, o fenômeno em que os humanos dependem demais da IA ou delegam tarefas em excesso em relação à precisão dos modelos de IA, transferindo a cognição para a máquina, às vezes até mesmo diante de evidências contraditórias.
A ênfase ostensiva na segurança da IA para lidar com o risco de extinção causado por superarmas de IA criadas pelos modelos de linguagem de grande escala (LLMs) mais avançados desvia a atenção dos riscos urgentes que devemos e podemos começar a resolver agora: erros humanos no uso operacional da IA hoje devido ao viés de automação.
Nesta primavera, durante a guerra dos EUA com o Irã, um relatório de inteligência sugeriu que a China estaria enviando componentes de armas nucleares em um navio no Oriente Médio em direção ao Irã. Os militares dos EUA iniciaram imediatamente a vigilância e planejaram interceptar e abordar a embarcação. Pouco antes do início da operação, as autoridades reexaminaram o relatório original. Descobriram que ele havia sido elaborado por um analista que encaminhou os resultados de um modelo de inteligência artificial que compilava informações para sugerir que o navio transportava componentes nucleares. O relatório era falso, e o modelo de inteligência artificial havia identificado incorretamente ou deturpado a natureza da carga da embarcação.
É fácil culpar a IA pelo relatório falso. Mas o que importa mais é que o analista não verificou o que o modelo havia gerado, e nem os planejadores que receberam o relatório. O analista inseriu a alegação fabricada pela IA em um relatório de inteligência padrão que foi encaminhado pela cadeia de comando, e ninguém verificou até que fosse quase tarde demais. Uma IA melhor ou medidas de segurança nos modelos de IA não teriam resolvido o problema.
É evidente para qualquer um o quão perto estivemos do perigo. O senador Mark Warner afirmou recentemente que, para o Congresso tomar medidas concretas, precisamos de um "momento de pânico total".
O incidente envolvendo o navio chinês não é o único exemplo. Pilotos de avião são vítimas do viés de automação quando ignoram seus instrumentos e treinamento, confiando demais no piloto automático, o que causa acidentes aéreos trágicos que mataram centenas de pessoas nas últimas três décadas. O viés de automação em motoristas ocorre quando o software de navegação os direciona para uma estrada fechada (como no famoso comercial da Allstate); em vez de usar a visão e o bom senso, eles seguem o sinal mesmo assim. No âmbito militar, um exemplo clássico aconteceu em 2003, quando os sistemas de mísseis Patriot no Iraque classificaram aeronaves amigas como mísseis inimigos, e os operadores aprovaram ataques que mataram soldados britânicos e americanos.
Apesar de sua prevalência atual, esse tipo de erro humano não ocupa um lugar de destaque no debate sobre IA que domina Washington. O CEO da Anthropic, Dario Amodei, defendeu a desaceleração do desenvolvimento de novas tecnologias. O CEO da OpenAI, Sam Altman, alerta que a humanidade pode perder o controle da IA, enquanto o presidente dos EUA, Donald Trump, descartou a pressão por restrições como uma "conspiração".
O debate atual se concentra em diretrizes para o que os laboratórios constroem e no potencial para cenários apocalípticos. Uma explicação para o foco em cenários apocalípticos é que eles capturam a imaginação do público. Outra é que eles desviam a atenção das razões complexas pelas quais acidentes no mundo real frequentemente ocorrem. Acidentes resultam regularmente das interações entre pessoas, organizações e tecnologias. A tendência no âmbito de acidentes não relacionados à IA (pense em um acidente de avião) é culpar o piloto, em vez do sistema complexo e da interação entre o piloto, seu treinamento e a tecnologia que leva ao acidente. Podemos estar testemunhando a versão em IA dessa dinâmica, onde a IA se torna o bode expiatório.
Mas o incidente com o navio chinês mostra o que pode acontecer se continuarmos a ignorar os riscos dos sistemas de IA que já existem e já estão sendo (mal) utilizados.
Em janeiro, o Secretário de Defesa dos EUA, Pete Hegseth, lançou uma Estratégia de Aceleração da Inteligência Artificial (IA) destinada a colocar ferramentas de IA nas mãos de 3 milhões de militares e civis em todos os níveis hierárquicos. Ampliar a adoção da IA é essencial para o poderio militar dos EUA, mas deve ocorrer de forma responsável para ser eficaz. A nova estratégia enfatiza a expansão do acesso a dados, computação e ferramentas de IA, desde o combate até a inteligência e as operações corporativas, e até mesmo autorizações especiais de contratação para profissionais de IA. O próximo passo, notavelmente ausente da Estratégia de Aceleração da IA, é o treinamento para garantir que comandantes e operadores compreendam as vantagens e os riscos dos sistemas de IA que utilizam.
O viés da automação não é inevitável e, se o governo americano, incluindo, mas não se limitando às forças armadas, conseguir lidar com ele, os Estados Unidos poderão liderar o mundo na adoção da IA com uma velocidade responsável. Com base em nossa experiência trabalhando no Pentágono e pesquisando os riscos práticos da IA, duas mudanças ajudariam os Estados Unidos a aproveitar os benefícios da IA e mitigar grande parte dos riscos.
Primeiramente, crie procedimentos operacionais padrão para gerenciar os resultados da IA. Por exemplo, qualquer produto de inteligência finalizado que utilize uma ferramenta de IA generativa deve indicar isso, de forma visível, para todos que o lerem. O analista neste incidente recente teria usado IA tanto para consultar relatórios de inteligência quanto para compilar as descobertas, e neste relatório final omitiu o uso de IA, fazendo com que o conteúdo do relatório parecesse ter sido gerado por humanos. Além disso, as inferências da IA em relatórios de inteligência devem exigir confirmação além do modelo de IA para decisões de alto risco. Abordar um navio chinês durante uma guerra em andamento teria sido extremamente arriscado. Velocidade que leva a falhas operacionais não é útil.
Uma verificação operacional adicional pode fazer uma grande diferença sem atrasar substancialmente o processo. Isso não se aplica apenas a produtos de inteligência, embora haja um risco específico nesse caso, mas também a qualquer resultado auxiliado por ferramentas de IA, inclusive no uso de sistemas de apoio à decisão baseados em IA.
O segundo fator é o treinamento. Em uma pesquisa realizada em coautoria, descobrimos que as pessoas com menos experiência em modelos de IA eram as mais propensas a acatar suas decisões, uma versão do efeito Dunning-Kruger aplicada às máquinas. A familiaridade adquirida por meio de treinamento estruturado, incluindo a exposição a falhas desses sistemas, produz usuários de IA melhores e mais eficazes. Em um trabalho mais recente, descobrimos que os cadetes de West Point exibiram viés de automação em 3,9 por cento dos testes, em comparação com 9 por cento em uma amostra equivalente da população americana, sugerindo que a educação militar pode ajudar a formar pessoal que questiona os resultados algorítmicos para maximizar seu uso eficaz, em vez de simplesmente aceitá-los.
O perigo do viés de automação não será eliminado por modelos melhores ou modelos que nunca apresentem alucinações, porque a falha reside na forma como as pessoas os utilizam. Os militares não estão indefesos diante disso. Resolver o risco da IA envolve mais pessoas e organizações do que engenharia, e não é um problema imaginário para o futuro.
Michael C
.jpg)
.jpeg)
.webp)
.webp)