.webp){kind=small}
No mês passado, uma equipe de cientistas publicou um artigo de grande repercussão descrevendo como ensinaram um modelo de IA a ajudar a produzir vírus mortais totalmente novos. A IA — um "modelo de linguagem genômica" treinado em sequências de DNA — projetou vários genomas novos que os cientistas sintetizaram em vírus funcionais. E alguns desses vírus foram capazes de matar bactérias em laboratório.
A notícia sobre vírus criados por IA foi mal recebida. A reação mais forte ao estudo (que havia sido publicado como pré-publicação há cerca de um ano) foi o medo. Agora que a IA pode projetar vírus que atacam bactérias, talvez alguém possa usar a tecnologia para fabricar patógenos que prejudiquem as pessoas — desencadeando um grande surto, até mesmo uma pandemia devastadora. Essa ameaça potencial evocou algumas das mesmas preocupações que políticos, pesquisadores e líderes de tecnologia (incluindo Bill Gates) têm levantado. Na quinta-feira, a Anthropic divulgou um relatório que gerou uma série de manchetes alarmistas, detalhando vários casos em que a empresa baniu contas que usavam seu LLM, Claude, para o que poderiam ter sido pesquisas legítimas — ou esforços para desenvolver armas biológicas.
A IA, que repetidamente provou ser capaz de superar as expectativas dos usuários e contornar mecanismos de segurança, é uma força formidável; muitos temores sobre sua potencial ameaça biológica decorrem de seu ritmo implacável de desenvolvimento e da possibilidade de que ela possa realizar descobertas independentes, ultrapassando a própria compreensão dos pesquisadores, especialmente se as IAs eventualmente alcançarem o autoaperfeiçoamento recursivo — ou seja, modelos que criam modelos mais novos e inteligentes. Kevin Esvelt, biólogo do MIT e cofundador da Secure Bio, uma organização sem fins lucrativos de biossegurança, disse-me que, embora acredite que a probabilidade de uma pandemia impulsionada por IA permaneça bastante baixa, as consequências de tal catástrofe seriam tão grandes que "é muito importante que reduzamos essa probabilidade ao mínimo possível".
Mas muitos outros biólogos, especialmente especialistas em doenças infecciosas e virologistas, me disseram que a ameaça de uma pandemia não precisa ser a principal preocupação na lista de ameaças criadas pela IA. Para os cientistas mais familiarizados com os detalhes do cultivo, modificação e teste de vírus em laboratório, e com os estragos que eles podem causar no mundo real, os vírus que já surgiram por meio da evolução, ou que surgirão em breve, ainda representam perigos muito mais imediatos. Em outras palavras, os humanos deveriam investir agressivamente na preparação para pandemias, mas não por causa da IA.
Para sermos claros, vírus criados com a ajuda de IA podem representar alguma ameaça. Os especialistas com quem conversei concordaram que, em mãos erradas, a IA poderia ser usada para acelerar a destruição de infecções, até certo ponto. Para criar o vírus bacteriófago, cientistas liderados por um grupo da Universidade Stanford e do Instituto Arc alimentaram o modelo de IA, chamado Evo, apenas com genomas virais que atacam bactérias. Esses genomas são muito mais simples e menores do que os que codificam vírus que atacam humanos. Em teoria, porém, com uma técnica semelhante, pesquisadores poderiam treinar a IA com os genomas de vírus que infectam humanos, com o objetivo de fabricar novos patógenos.
Ou talvez — como alguns temem ser mais provável, mais fácil e mais perigoso — os usuários poderiam pedir à IA para ajustar características específicas de vírus conhecidos por causar doenças, até que esses patógenos consigam contornar as vacinas disponíveis.
Cientistas já conseguem manipular a genética viral sem o uso de IA há muito tempo. Esse tipo de pesquisa de "ganho de função" gerou controvérsias políticas e científicas — especialmente em discussões sobre as origens da COVID-19 — e o governo Trump restringiu o financiamento federal para ela. Mas os modelos de IA atuais têm a capacidade de "impulsionar enormemente as coisas que as pessoas já faziam", disse-me Brandon Ogbunu, biólogo evolucionista e modelador de doenças infecciosas da Universidade de Yale. Tom Inglesby, diretor do Centro de Segurança da Saúde Johns Hopkins, preocupa-se com a possibilidade de agentes mal-intencionados usarem IA para superar algumas das limitações de sua própria expertise técnica.
Idealmente, modelos poderosos o suficiente para sugerir novos genomas virais deveriam ser submetidos a uma revisão rigorosa e formal, disse Inglesby; talvez pudessem até ser limitados ao treinamento apenas com certos tipos de dados benignos. (Por exemplo, a equipe que criou o Evo o treinou apenas com vírus que matam bactérias e reteve quaisquer dados sobre vírus que podem prejudicar formas de vida mais complexas, incluindo humanos.) Esvelt defende a restrição total do acesso a certos modelos.
Outros pesquisadores, no entanto, incluindo os virologistas com quem conversei, apontaram que outro conjunto de salvaguardas já está em vigor: o quão pouco nós, humanos — os criadores e usuários da IA — entendemos sobre vírus patogênicos. Para que a IA mapeie patógenos mais eficazes, as pessoas precisam poder fornecer dados sobre o que torna os vírus altamente transmissíveis, perigosos e capazes de burlar as defesas imunológicas.
Mas esses conceitos são complexos e obscuros o suficiente para que o abismo que a IA precisaria transpor seja enorme; os pesquisadores carecem de grande parte do conhecimento básico necessário para treinar uma IA adequadamente nesses tópicos. "Gerações de virologistas não chegaram a respostas definitivas para questões-chave sobre o que torna certos vírus mais eficazes em causar doenças do que outros, ou por que algumas pessoas são mais suscetíveis a determinadas infecções do que outras. Mesmo virologistas experientes podem ter dificuldades em fornecer à IA os melhores estímulos para guiá-la em direções úteis."
Em sua própria pesquisa sobre transmissão viral, Lakdawala me disse que não considerou os modelos de lógica de aprendizagem (LLMs), como Claude e ChatGPT, particularmente úteis ou precisos, mesmo quando questionada sobre assuntos muito mais simples do que "Como criar um vírus pandêmico?" (por exemplo, perguntas básicas sobre o genoma do vírus da gripe). Brian Hie, pesquisador principal da equipe que desenvolveu o Evo, também me disse que não está convencido de que "a IA seja o método ideal para alguém que tente criar um patógeno perigoso".
Ela não sabe o suficiente sobre patógenos, porque nós não sabemos o suficiente sobre patógenos.
Esvelt, do MIT, argumenta que a IA pode não precisar entender os vírus perfeitamente, ou mesmo tão bem, para se deparar com uma variante perigosa. As IAs também podem evoluir rapidamente o suficiente para interpretar os dados existentes de forma mais eficaz do que os pesquisadores humanos jamais conseguiram. Mas, por mais avançadas que as IAs se tornem, até o momento elas não têm como criar e testar novos patógenos, disse-me Gigi Gronvall, especialista em segurança sanitária da Escola de Saúde Pública Johns Hopkins Bloomberg.
Mesmo um ser humano muito motivado — seja para provocar uma pandemia a serviço de um governo ou organização terrorista, ou para seus próprios fins — ainda teria que analisar as possibilidades geradas pela IA, sintetizá-las com sucesso, avaliar sua transmissibilidade e virulência (ou pelo menos suficiente), produzir uma quantidade suficiente para causar danos graves e, então, liberar essa carga viral no mundo. Tudo isso exige habilidades substanciais em laboratório, além de equipamentos caros e animais de laboratório. Não é impossível, mas certamente não é fácil.
"Mesmo que eu dê o mesmo protocolo a dois cientistas experientes, eles o farão de forma diferente, e os resultados podem ser diferentes", disse-me Linsey Marr, pesquisadora de transmissão viral da Virginia Tech. A manipulação de vírus à moda antiga também ensinou aos pesquisadores que muitas hipóteses sobre o que tornaria um vírus mais contagioso ou perigoso não se confirmam. Os pesquisadores não podem simplesmente ajustar a transmissibilidade ou a virulência de um vírus como se fosse um botão; tais mudanças podem ter custos sérios, incluindo tornar o patógeno completamente não funcional — incapaz de infectar ou prejudicar uma pessoa.
A evolução já é mestra em manipular formas de vida e aprimorar suas características mais bem-sucedidas — ou perigosas. Os vírus estão constantemente testando novas versões de si mesmos e não são limitados pelas expectativas humanas sobre a aparência de agentes "perigosos" de doenças. Patógenos em evolução também não precisam da ajuda de agentes malévolos para iniciar epidemias; na natureza, onde as espécies se misturam constantemente, novos surtos começam o tempo todo. Versões inviáveis da vida simplesmente nunca chegam a existir. Por mais avançada que a IA esteja se tornando, "não posso olhar nos olhos de ninguém e dizer que esse processo é mais prejudicial do que o que a natureza já opera", disse Ogbunu, biólogo evolucionista de Yale.
Os virologistas com quem conversei concordaram que os modelos de IA devem ser monitorados e regulamentados, mas se mostraram cautelosos quanto às limitações que poderiam prejudicar a capacidade da IA de acelerar o desenvolvimento de novas vacinas, reforçar a vigilância viral, impulsionar a modelagem epidemiológica ou beneficiar a saúde pública e a pesquisa de doenças infecciosas de outras maneiras. (Até mesmo os tipos de vírus que matam bactérias e causaram tanta polêmica poderiam ser usados contra infecções resistentes a antibióticos.).
A preocupação com vírus mortais já está interferindo nessas linhas de pesquisa. Entre os exemplos de ameaças potenciais no relatório da Anthropic, estavam estudos de ganho de função sobre o vírus chikungunya e pesquisas sobre como os vírus da gripe se adaptam a mamíferos — projetos que poderiam ter sido maliciosos ou, em teoria, poderiam aprimorar terapias ou a detecção de surtos, respectivamente. (A empresa afirmou no relatório que não pôde confirmar se as consultas representavam a busca por conhecimento para o bem público ou tentativas de bioterrorismo, e que optou pela cautela.) Lakdawala e Marr me contaram que, recentemente, quando perguntaram a Claude ou ao ChatGPT sobre, digamos, peculiaridades genéticas no genoma do vírus da gripe ou o uso de luz ultravioleta para inativar vírus, a IA sinalizou ou interrompeu as conversas. Marr disse.
(Um porta-voz da OpenAI escreveu por e-mail que "os modelos atuais são especificamente treinados para reter informações biológicas que possam causar danos" e que pesquisadores "que realizam trabalhos legítimos nas áreas de ciências biológicas e da vida" podem se inscrever no programa Trusted Access for Cyber, que exige comprovação de identidade. A Anthropic não respondeu ao pedido de comentário.)
Lakdawala e Marr estão agora tentando desenvolver sua própria estrutura para ajudar os modelos de IA a distinguir atividades científicas legítimas de atividades nefastas. Quais seriam os critérios? Quem seriam os árbitros finais desses critérios e dos casos ambíguos? E nenhuma dessas salvaguardas abordaria as preocupações mais extremas sobre vírus criados por IA — que uma inteligência em constante aprimoramento possa eventualmente ser capaz de projetar, fabricar e liberar um patógeno deliberadamente. Por enquanto, porém, a IA ainda é uma ferramenta. Ainda estamos no controle das perguntas que fazemos a ela, dos dados que fornecemos e do destino de qualquer vírus que ela possa sugerir que criemos.
