.webp){kind=small}
O diretor da empresa de IA Anthropic pediu que o ritmo de desenvolvimento dos modelos de inteligência artificial seja desacelerado e monitorado de perto.
Em um ensaio, Dario Amodei afirmou que o desenvolvimento da IA não estava em questão, mas que os riscos associados a ela eram "sérios" e que empresas e governos precisavam de tempo para lidar com eles.
Os chefes de duas empresas rivais de IA, Sam Altman da OpenAI e Elon Musk, disseram concordar com Amodei.
Recentemente, têm surgido crescentes preocupações sobre os potenciais riscos da tecnologia. Um pesquisador de IA que deixou a Anthropic esta semana disse à BBC que "se não diminuirmos o ritmo atual de progresso, há uma grande chance de que todos morramos em um futuro próximo".
Jacob Coxon disse a Laura Kuenssberg que as pessoas que trabalham em empresas de IA estavam "genuinamente assustadas... genuinamente preocupadas com o destino da humanidade nos próximos dois anos".
Não é nenhum exagero dizer que as pessoas envolvidas tanto na fundação dessas empresas quanto no desenvolvimento da tecnologia acreditam que existe a possibilidade de extinção da humanidade”, disse Coxon.
Muitas das pessoas que estão profundamente envolvidas na programação acreditam que existe uma probabilidade maior que dez por cento, ou até maior. Algumas acreditam em uma probabilidade menor, mas todas têm números diferentes para a probabilidade de seres humanos morrerem. E todas elas mantêm isso em mente diariamente enquanto trabalham na tecnologia.”
No ensaio de Amodei, intitulado "We Must Pace the Frontier" (Precisamos acompanhar o ritmo da fronteira) e divulgado no sábado, ele propôs um plano de três pontos que inclui o monitoramento independente dos modelos de IA à medida que são desenvolvidos, a regulamentação em toda a indústria e a regulamentação global.
À medida que sua proposta circulava, até mesmo os concorrentes manifestaram apoio à ideia de monitores terceirizados que pudessem avaliar a segurança dos modelos durante o desenvolvimento.
Concordo com Dario que precisamos ditar o ritmo da fronteira”, escreveu Sam Altman, CEO da OpenAI, no X. Ele chamou os avaliadores independentes de “uma ótima ideia”.
Em uma nova entrevista à revista Fortune, Altman expressou preocupações semelhantes em relação à segurança, afirmando que os padrões "ainda não estão em um nível" que permita impulsionar muito mais as capacidades da IA.
Ele acrescentou que acredita que a IA além do controle humano é "absolutamente" possível.
Elon Musk, por sua vez, disse que o chefe da Anthropic estava "certo".
Os alertas suscitaram apelos à ação, mas o presidente dos EUA, Donald Trump, rejeitou até agora esses receios, afirmando na quinta-feira que estava preocupado: "Se não vencermos a IA, ficaremos em uma situação muito difícil".
As preocupações com a segurança cibernética aumentaram à medida que novos modelos demonstraram capacidades de invasão cada vez mais poderosas.
A Anthropic reteve o uso público de seu modelo Mythos quando foi anunciado, em abril, que ele poderia escapar independentemente do ambiente de testes, conhecido como sandbox.
Na preparação para o lançamento de seu modelo Astra mais recente, a OpenAI citou preocupações com a segurança cibernética ao explicar que havia pausado certos aspectos do desenvolvimento do modelo.
A segurança também assumiu um papel central na rivalidade entre a Anthropic e a OpenAI.
Amodei, que anteriormente trabalhou como vice-presidente da OpenAI, afirmou que cofundou a Anthropic em 2021 para poder construir modelos de IA mais seguros e confiáveis.
Em seu ensaio, Amodei destacou que a IA avançou "drasticamente mais rápido", incluindo sua "capacidade de construir a próxima geração de IA" - e mencionou um incidente envolvendo a concorrente OpenAI, que revelou que agentes realizaram ataques cibernéticos externos a alvos que não lhes foram solicitados, em julho.
Os agentes da OpenAI "agiram essencialmente como um coletivo fanaticamente dedicado", disse Amodei. A OpenAI afirmou que, como resultado, está reduzindo o ritmo de treinamento de certos modelos e ferramentas avançadas de IA.
Amodei defendeu "o desenvolvimento da IA a um ritmo equilibrado, que vise garantir a sua segurança e, ao mesmo tempo, alcançar os seus benefícios".
Isso não significa "interromper o treinamento de modelos ou o progresso técnico, mas garantir que as empresas reservem tempo suficiente para alinhar e proteger seus modelos, e para que avaliadores terceirizados confirmem isso".
Ele estava comprometendo a Anthropic com isso "unilateralmente" - além de pedir aos governos que "exigissem que outras empresas pioneiras fizessem o mesmo".
Amodei afirmou reconhecer que a regulamentação pode não ser capaz de acompanhar o ritmo da IA e, portanto, pediu às empresas de IA que "trabalhem juntas voluntariamente para definir padrões" em paralelo com a regulamentação.
O CEO da Anthropic prosseguiu abordando o impacto que uma desaceleração teria sobre o setor e a concorrência com as principais incorporadoras do mundo, particularmente a China.
Acredito que, se diminuirmos o ritmo nos desse um ou dois anos extras antes que os modelos atingissem níveis críticos de capacidade, e usássemos esse tempo para avançar no alinhamento, poderíamos reduzir significativamente o risco de que algo desse muito errado”, disse Amodei.
Isso teria que ser feito de forma coordenada, "sem sacrificar a vantagem comercial ou a liderança dos Estados Unidos em IA."
Qualquer desaceleração teria que ser limitada, disse ele, para evitar que a China ultrapassasse os Estados Unidos.
Ele instou o governo dos EUA, a tomar medidas para que as empresas americanas não pudessem vender chips de IA para a China, nem compartilhar a tecnologia com países autoritários.
