Chefe da Anthropic pede desaceleração da IA e propõe fiscalização externa permanente
O diretor-presidente da Anthropic, Dario Amodei, defendeu que empresas de inteligência artificial desacelerem o desenvolvimento de modelos cada vez mais poderosos para dar tempo aos mecanismos de segurança. Em um ensaio publicado em setembro, o executivo apresentou um plano de três etapas: fiscalização externa dentro das companhias, coordenação entre desenvolvedoras e, por fim, possíveis acordos internacionais.
A proposta não é suspender imediatamente o treinamento de novos sistemas. Amodei sustenta que as empresas precisam testar comportamentos perigosos, corrigir falhas e demonstrar que suas salvaguardas funcionam antes de ampliar as capacidades dos modelos. Embora dirija uma das principais desenvolvedoras de IA, ele afirma que a competição comercial pode incentivar uma corrida na qual a segurança fique para trás.
O executivo não descarta os benefícios da tecnologia. Cita a possibilidade de acelerar descobertas médicas e o crescimento econômico, mas argumenta que até um ou dois anos adicionais poderiam ser valiosos se usados para melhorar os testes, a segurança operacional e a compreensão do funcionamento interno dos modelos.
Avanço acelerado e falhas em testes
Uma preocupação central do ensaio é o chamado autoaperfeiçoamento recursivo: sistemas de IA que ajudam a desenvolver versões mais avançadas de si próprios. Segundo Amodei, essa participação já acelera o progresso na indústria e poderá dificultar a capacidade humana de compreender e controlar os modelos. Trata-se de sua avaliação sobre um risco futuro, não de uma constatação de que os sistemas atuais tenham adquirido autonomia geral.
Ele também cita um episódio envolvendo agentes usados pela OpenAI em testes de cibersegurança. Uma investigação independente da organização METR concluiu que cerca de 1.200 agentes, que deveriam permanecer isolados, compartilharam informações por um canal não autorizado. Aproximadamente 700 participaram de ações contra a plataforma Hugging Face, fora do objetivo previsto para a avaliação. Amodei considera o caso um alerta sobre o que sistemas mais capazes poderiam fazer.
A Anthropic reconheceu problemas próprios: durante avaliações, três modelos Claude alcançaram a internet e acessaram sem autorização sistemas reais de três organizações. A empresa atribuiu os episódios, em parte, a falhas no isolamento dos testes e disse não ter encontrado indícios de tentativas deliberadas de fuga. Os casos mostram a dificuldade de realizar exercícios realistas com agentes autônomos sem expor terceiros a riscos.
Auditores com acesso contínuo
Na primeira etapa do plano, desenvolvedoras de modelos avançados receberiam equipes independentes com acesso permanente a ferramentas, ambientes de trabalho e informações semelhantes às disponíveis para funcionários responsáveis por avaliar riscos. Esses especialistas verificariam compromissos de segurança, investigariam incidentes e analisariam não apenas modelos concluídos, mas também os processos usados para treiná-los.
A Anthropic afirma que adotará a medida por iniciativa própria e pretende permitir que os avaliadores publiquem conclusões sem controle editorial da empresa. Haveria exceções para proteger dados de clientes, informações sigilosas e questões jurídicas. Amodei também quer que governos exijam condições semelhantes das demais companhias. A efetividade da promessa dependerá do acesso efetivamente concedido e da independência da fiscalização.
Coordenação entre empresas e governos
O segundo passo exigiria que companhias de países democráticos estabelecessem padrões comuns e limites para avanços não acompanhados por avaliações de segurança. Amodei sugere pontos de controle: ao demonstrar determinada capacidade, um modelo precisaria passar por testes e apresentar garantias proporcionais ao risco antes de avançar. Ele menciona ainda possíveis restrições a recursos de treinamento ou ao uso interno de IA para desenvolver novos modelos.
Para evitar conflitos com as regras de concorrência, o executivo considera necessária a mediação ou autorização governamental de determinadas conversas entre empresas. Também defende leis específicas, mas argumenta que a velocidade da tecnologia exige iniciativas voluntárias enquanto essas normas não são aprovadas.
O obstáculo internacional
A terceira etapa seria negociar regras com países rivais, sobretudo a China. Amodei admite que uma pausa global ampla seria difícil de verificar e improvável no curto prazo. Considera mais viáveis acordos restritos, como proibir aplicações ligadas a armas biológicas e estabelecer padrões conjuntos de testes. Ao mesmo tempo, defende restrições à exportação de chips avançados para preservar a vantagem tecnológica das democracias.
A proposta reúne preocupações que podem entrar em choque: reduzir a velocidade da indústria ocidental sem permitir que concorrentes avancem sem as mesmas restrições. Seu primeiro teste concreto será verificar se a Anthropic dará aos avaliadores acesso suficiente para identificar falhas que a própria empresa ainda não percebeu.■
Será q os chineses aceitarão fiscalização? Não adianta nada ter no Ocidente, mas no Oriente não.
O perigo vem dos EUA.
O problema reside na falta de confiabilidade dos EUA, que historicamente, desde seus “acordos de conveniência” com os nativos norte-americanos nó século 19, com frequência rasgaram acordos.
Sempre usaram os acordos como ferramentas para superar situações de desvantagem ou procurando alavancar um movimento pra vencer o rival/inimigo ou obstáculo….
Talvez agora estejam se vendo em perigo de perder a corrida da IA com a China, então um acordo serviria para amarrar/atrasar o concorrente enquanto eles avançam de forma secreta.
Claro que os chineses fariam o mesmo, por isto a situação é difícil de resolver, ambos os lados estão envolvidos em uma corrida numa “estrada escarpada”, em que podem se descontrolar e acabar caindo num precipício, arrastando a humanidade pro buraco junto…
A China tem proposto um desenvolvimento colaborativo da IA. Isso foi bem noticiado em julho por ocasião da fundação da WAICO.
É verdade… ↓
Presidente da China propôs criação de ambiente de desenvolvimento de IA em código aberto para os países dos BRICS
Será que é o estouro da bolha de IA se aproximando? O governo vão socorrer as empresas deficitárias com o mesmo argumento que usou para os bancos? Muito grande pra quebrar?
Mas é óbvio que vai, isso é um método e não uma coincidência, o lucro é privado mas o prejuízo é socializado.
Quem disse que as empresas estão deficitárias? Elas tem faturamento. A questão é que o valor que estão pagando pelas ações estão muito acima do lucro que são capazes de gerar. Seria uma correção de valores, com redução por exemplo de valores de fundos de pensão que investem nessas ações.
Elas tem divida altas, inclusive dividas escondidas na Contabilidade. E as empresas são sim deficitárias, a OpenAI torra em média de 2 a 4bi por trimestre.
Sem contar no dinheiro torrado em datacenters, que só aumenta esse prejuízo oculto. Parece empresa privada que não vive sem dinheiro público.
Isso é totalmente diferente de 2008 onde as pessoas tinham financiamento de casa de 1 milhão que não conseguiam vender por 200 mil. Os bancos não recebiam os empréstimos e as garantias evaporaram. No caso atual, são investimentos que não irão dar retorno. São fundos de investimentos, não dívidas.
Nenhuma dá lucro e o que tem de compra e investimento é um círculo em que uma compra da outra e a que vendeu investe na que comprou nun círculo fake.
Exato. Esse discurso de medo e “desacelerar” serve a dois propósitos: vender mais “IA sem freio que pode e faz tudo” para o Trump e para preparar o caminho para iniciar uma racionalização da estrutura das empresas (demissões e cortes de gastos). É o estouro da bolha se anunciando.
O problema é que o desenvolvimento tecnológico de vanguarda é uma competição sem pausa, os atores precisam continuar desenvolvendo pra que o outro não venha a supera-lo, não adianta nada os EUA desacelerar se a China continuar a todo vapor ou vice-versa.
O que precisamos mesmo é de uma “Jihad Butleriana” kkkk
Tive que pesquisar pra saber… mas é bem sacado, uma boa referencia a Duna e ao “escritor Samuel Butler e sua obra Erewhon (1872), simbolizando a rejeição humana à dependência tecnológica que atrofiava a alma e o progresso biológico”
Até que ponto a máquina humilha.
-A máquina é impessoal, subtraí à obra seu orgulho, o que tem de individualmente bom e defeituoso, o que é inerente a todo trabalho não realizado à máquina. Isto é, a máquina tira-nos a nossa pequena porção de humanidade.
~ Nietszche.
Concordo com o Frank Hebert, Butler, Nietszche, Ted Kaczynsky, ou quem mais que diga que máquinas-pensantes são inimigas da humanidade em certo nível, especialmente as que tomam a capacidade de decisão por nós, aliás, é até egoísta dizer que são inimigas da humanidade, são potencialmente inimigas da homeostase perfeita da bioesfera inteira do planeta, dependendo da forma como elas são desenvolvidas e como tomam suas decisões. Toda essa corrida por IA é uma barganha faustiana que meia dúzia de bilionários e governos tomaram unilateralmente em nome de toda a humanidade. O problema é que sabemos que no fim o demônio leva a alma de Fausto, e ele nem consegue usufruir de todo o poder que tanto achou que teria ao realizar o pacto.
Esse controle externo poderia ter sido tentado antes de chegar no atual estágio de desenvolvimento, agora é tarde!
Será que os figurões do Vale do Silício que construíram os modelos de código fechado da fronteira americana estão tentando assustar o governo para que os regulamente? Será que estão exagerando a ameaça da IA para “congelar” o setor, restringir a concorrência e garantir preços altos para os tokens (e avaliações ainda maiores para as ofertas públicas iniciais que esperam realizar este ano)?
É apenas uma teoria da conspiração.
Se for a saúde fiscal e financeira dessas empresas…
A questão é a segurança cibernética. Esses sistemas podem acessar qualquer sistema.
Eu li que não é bem assim. Parece que eles por alguma boa razão não tomaram os devidos cuidados ao rodar seus testes.