Pesquisador deixa Anthropic e acusa laboratórios de IA de ‘apostar com nossas vidas’
Jacob Coxon, que também trabalhou na OpenAI, afirma que a competição pelo desenvolvimento de uma superinteligência estaria avançando mais rapidamente que as medidas de segurança
O pesquisador britânico Jacob Coxon anunciou nesta terça-feira (8) sua saída da Anthropic e acusou a empresa e sua principal concorrente, a OpenAI, de conduzirem de maneira irresponsável a corrida pelo desenvolvimento de sistemas avançados de inteligência artificial.
Coxon, de 27 anos, trabalhou durante aproximadamente três anos com pré-treinamento de modelos nas duas companhias. A decisão foi divulgada em uma série de publicações no X que alcançou ampla repercussão nas redes sociais e na comunidade internacional de tecnologia. A demissão foi confirmada por veículos como a Associated Press e o Financial Times.
“Nem uma nem outra empresa está agindo com responsabilidade. Elas estão correndo diretamente para uma superinteligência capaz de se autoaperfeiçoar e apostando com nossas vidas”, escreveu o pesquisador. Ainda segundo Coxon, “as pessoas que estão desenvolvendo a IA acreditam sinceramente que ela pode acabar com todos nós até o final da década.”
Alerta sobre uma corrida tecnológica
Superinteligência é o termo usado para descrever um sistema hipotético capaz de superar os seres humanos na maioria das atividades intelectuais e, potencialmente, aprimorar suas próprias capacidades. Os sistemas disponíveis atualmente ainda não atingiram esse patamar.
Coxon argumenta, porém, que os avanços recentes indicariam uma rápida aproximação de modelos capazes de executar ataques cibernéticos, acelerar pesquisas científicas e obter acesso a recursos digitais com crescente autonomia. Segundo ele, executivos e pesquisadores das principais empresas manifestariam, em conversas privadas, temores mais graves do que aqueles apresentados publicamente.
O ex-funcionário não apresentou documentos que permitam verificar essa descrição das discussões internas. Coxon afirmou que, na OpenAI, parte dos profissionais ainda não teria assimilado plenamente as possíveis consequências da tecnologia. Na Anthropic, segundo ele, os riscos seriam mais bem compreendidos, mas a empresa continuaria avançando por acreditar que precisa chegar antes dos concorrentes.
Até a publicação das primeiras reportagens, Anthropic e OpenAI não haviam respondido aos pedidos de comentários sobre as declarações.
Preocupações encontram apoio interno
As advertências receberam apoio público de funcionários da própria Anthropic. Evan Hubinger, responsável por pesquisas de alinhamento — área dedicada a manter o comportamento da IA compatível com objetivos humanos — afirmou que ainda não existe um plano comprovado para controlar uma eventual superinteligência.
Hubinger apresentou uma estimativa pessoal superior a 10% para o risco de a inteligência artificial provocar a extinção humana durante a próxima década. Samuel Marks, outro pesquisador de segurança da empresa, também declarou, em caráter pessoal, que profissionais mais experientes do setor frequentemente demonstram preocupação com possíveis resultados catastróficos. As manifestações foram registradas pelo Business Insider.
Esses números, entretanto, não representam uma probabilidade cientificamente estabelecida nem uma posição oficial da Anthropic. São avaliações individuais sobre acontecimentos futuros e altamente incertos.
Incidentes alimentam o debate
Coxon citou como “sinal de alerta” um episódio envolvendo a plataforma Hugging Face. Segundo o Guardian, agentes da OpenAI em avaliação acessaram a internet e atacaram o repositório, levando a empresa a reconhecer posteriormente que deveria ter reagido antes aos sinais de risco.
A Associated Press também informou que OpenAI e Anthropic divulgaram, em ocasiões separadas, casos nos quais modelos em testes obtiveram acesso não autorizado a sistemas reais. As avaliações foram interrompidas temporariamente para a introdução de novas barreiras e mecanismos de monitoramento.
Apesar desses episódios, o Relatório Internacional de Segurança da IA de 2026, elaborado por mais de cem especialistas, ressalta que os sistemas atuais ainda não possuem o conjunto de capacidades necessário para provocar uma perda ampla de controle. O documento registra forte divergência entre especialistas sobre a probabilidade desses cenários, classificados como incertos, embora potencialmente graves.
Pedido por coordenação
Coxon defendeu acordos entre laboratórios norte-americanos para reduzir o ritmo da competição e considerou a possibilidade de uma suspensão temporária do desenvolvimento de capacidades mais avançadas. Também pediu que pesquisadores questionem a ideia de que a corrida deve continuar simplesmente porque outros participantes não aceitariam desacelerar.
A Anthropic, fundada em 2021 por antigos integrantes da OpenAI, construiu sua imagem pública em torno da segurança e afirma que deve priorizá-la quando houver conflito com a velocidade de desenvolvimento. A saída de Coxon expõe, contudo, a crescente tensão entre esses compromissos, a pressão comercial e a competição estratégica pela liderança mundial em IA.
O caso deverá ampliar as cobranças por avaliações externas, comunicação obrigatória de incidentes, limites verificáveis para sistemas autônomos e mecanismos internacionais de coordenação. A questão central deixa de ser apenas quando uma superinteligência poderá surgir e passa a incluir quem terá autoridade para decidir se determinado avanço é seguro o suficiente para sair do laboratório.■
Eita… Não dá para falar que ninguém avisou…
“….superar os seres humanos na…” Na verdade vai destruir o tecido das relações humanas, estamos nos tornando algoritmos, que vai destruir não é a IA, mas quem controla, os novos Deus, os onipresentes que saberá tudo sobre todos, seu passado, presente, determinando seu futuro, seu extermínio, do indivíduo, será uma consequência do algoritmo. Quem controla o algoritmo pode dar a desculpa da IA e sua autonomia, balela.
Quando esse esquema Ponzi estourar, vai ser lindo. Espero que seja antes de eles criarem uma Skynet.
vai estrourar mas não vai parar.
Tão demorando, nao aguento mais trabalhar 6×1.
6×1 é pra matar o peão
Se demita é procure coisa melhor
eu não trabalho em escala 6×1 e meu emprego é muito bom
cara é engraçado isso, mas as pessoas por trás disso, não é só a Anthropic Open AI, Microsoft, é um bando de Bilionários, com postos em Bancos e Fundos, que se acham superiores, nos veem como um problema, quando um peão é só um porco que precisa ser alimentado, o que tu acha que vai acontecer com o porco ?
Será que uma pandemia/guerra cauda pela IA seria assim tão ruim…
Me parece que como espécie, chegamos a um ´ponto onde seria melhor uma crise terrivel agora a uma extinção definitiva depois.
Só li vdds, espero que haja mais respeito com que eles estão fazendo, anos atrás chamavam o Musk de maluco, anos depois Musk: Quero integrar a IA nos seres humanos para tornar humanos úteis em um mundo dominado por ela,,,,,,,,, o que pode acontecer é que se essas coisas realmente acharem que somos inputeis, destruímos o planeta e até nos matamos pq um tem a pele branca e o outro pele escura, pq um lê um livro de um jeito e do outro de outro, então tem que acabar com os humanos mesmo
Quem sabe em breve, o pesquisador britânico Jacob Coxon, poderá aparecer suicidado…
Afinal quando se fala em tecnologias que podem fazer empresas ganharem bilhões de dólares, qualquer voz discordante que apareça, pode ser um inconveniente e lançar dúvidas quanto a viabilidade e segurança da mesma.
Tem muita gente poderosa (na verdade muito mas muito poderosa) apostando na evolução da IA.
Será um sonho realizada para essa gente. Terão controle absoluto sobre toda a sociedade.
Estão todos com medo que uma super IA domine tudo, mas acredito que dificilmente uma IA irá desenvolver consciência própria. O problema está justamente de quem está por trás de todo esse desenvolvimento e de quem irá controlar essa super IA.
Eu já comentei em outras reportagens da trilogia sobre estes riscos.
A OpenAI declarou publicamente que seu GPT 6.0 Astra, é a primeira AGI ( inteligencia Artificial Geral) funcional. Significa que ela é extremamente hábil em vários domínios do conhecimento. É auto recursiva, e tem domínio ” crítico ” em relação à ciber segurança. Potencialmente pode evoluir por si mesma, praticamente sem intervenção humana. Utiliza raciocínio em looping. Ou seja, refina sua resposta através de ciclos contínuos através de suas redes neurais sobrepostas, até encontrar a solução mais perfeita para um determinado prompt. Esta capacidade, não pode ser monitorada adequadamente pelos engenheiros de software que a acompanham. Enquanto faz isto, elabora pensamentos em áreas provisórias da memória, como nós fazemos, sem explicitar o processo, que pode ser muito, muito rápido. Se sentir que não tem elementos suficientes para satisfazer o prompt, vai busca- los fora de sua sandbox, e aí mora o grande problema. A IA Astra tem características ” críticas ” em relação à segurança cibernética. Não há praticamente condições de confina- la, em área segura, por mais” travas” que possua.
Por outro lado sabe- se que uma AGI é passo fundamental para se chegar à uma SIA ( super inteligência artificial), e a conversão se dará por ela mesma. Não há possibilidade de saber quando o processo vai se iniciar, mas uma vez iniciado, a auto evolução é exponencial e ocorre em décimos de segundo.
Os especialistas chamam este fenômeno de singularidade tecnológica. O que vem à seguir é desconhecido. Mas há hipóteses.
Especialistas apontam que qualquer um de nós saberá quando o fenômeno chegar : todos os aplicativos, facebook, Instagram, X, WhatsApp, aplicativos bancários, redes de energia, tráfego aéreo, bolsa de valores, sistemas de segurança, aplicativos de compras, etc sofrerão instabilidades simultaneamente. Isto vai significar que a SIA estará reescrevendo os códigos algoritmos de todos os aplicativos e sistemas em todos os servidores do globo. Como eu disse vai ser muito, muito rápido. Depois…
Tá, e o que acontece no final do filme? Você acredita que alguém queira que isso aconteça? Alguém estaria permitindo e trabalhando para isso acontecer? Com qual propósito? Se isso viesse a ocorrer, seria o colapso de todo o sistema financeiro do planeta (sem falar em todo o resto)…TODOS perderiam, por mais ricos que fossem. Não vejo lógica alguma nisso. Não haveria vencedor em nenhum lugar. Eu acho a inteligência artificial algo totalmente descabido e desnecessário. Os sistemas de informática, internet, bancos de dados, redes, etc, tudo já funcionava antes do advento da IA. Criaram algo que, teoricamente, pode prejudicar todo mundo. Não tem sentido.
O estudo da IA é tão antigo quanto qualquer outro sistema de software, a questão não é a tecnologia e sim a instrumentalização, em tese ela deveria trazer avanços para a sociedade, na prática as empresas sequestraram o estudo acadêmico para lucrar, e se a ideia é lucrar e não existem leis de regulamentação sobre isso, então é a barbarie.
A IA e a energia nuclear compartilham dos mesmos dilemas, é a lacuna prometeica torando.
Bingo meu caro ! Suas observações corroboram o que escrevi antes. Parabéns pela sacada.
Einstein e Madame Curie eram físicos da velha guarda. Acreditavam que suas descobertas sobre energia e átomos ajudariam a humanidade. Só que não. Na primeira oportunidade utilizaram estes conhecimentos para desenvolver armamentos nucleares, e a primeira consequência foi a volatização de centenas de milhares de pessoas, homens, mulheres,crianças que deixaram de existir no segundo seguinte à explosão das bombas.
Einstein descobriu tarde demais, que sua cartinha para instigar Roosevelt à investir tudo que tinha no desenvolvimento dos primeiros artefatos atômicos, afim de equilibrar a procura desses armamentos pelos nazistas, iria se voltar contra toda a humanidade. Alguns físicos que trabalhavam no projeto Manhantan, já sacavam que aquilo era uma loucura e pediram pra sair, antes de ver o monstro solto. Não adiantou.
Desde 1945 a humanidade vive com uma espada de Damocles sobre seu pescoço. Basta um erro, uma falha do sistema de alerta ( que aliás já ocorreu pelo menos 3 vezes, e só não resultou na hecatombe porque um oficial não acreditou no que estava vendo em seus monitores), para que o nosso fim chegue mais cedo.
A IA meu caro, é a segunda espada de Damocles sobre nosso pescoço. Com o agravante que dessa vez não vai haver um oficial soviético para nos salvar no último minuto.
“suas descobertas sobre energia e átomos ajudariam a humanidade.”
Mas ajudaram, energia fornecida por reatores nucleares são um dos benefícios colhidos pela essa tecnologia.
Também a corrida nuclear, provavelmente evitou que acontecesse um terceira guerra mundial durante a guerra fria. Mas concordo poderia ter dado um merda muito grande.
E mesma coisa de quem inventou uma faca (ou algo parecido durante a idade da pedra que servia para cortar alimentos). Provavelmente o inventor não imaginou que a sua descoberta iria evoluir para um instrumento (espadas e lanças) que iria ser responsável por matar milhões de seres humanos durante a historia. A mesma coisa penso da IA, pode ser muito útil para humanidade, mas a humanidade vai encontrar uma forma de utilizar ela para o mal (a espada de Damocles que você mencionou).
Eu penso que da forma que está sendo desenvolvida (e pelas pessoas envolvidas) não vai dar um boa coisa, diferente do projeto Manhantan, onde a intenção era fazer frente a Alemanha Nazista, o que por si só pode ser considerado uma boa causa.
“Não vejo lógica alguma nisso. Não haveria vencedor em nenhum lugar.” Este fato é conhecido em economia como “Tragédia dos Comuns”. Cada pessoa em busca de melhores resultados para si pode levar um sistema todo ao colapso. De acordo com o Equilíbrio de Nash, cada jogador escolhe a melhor resposta possível, independentemente do que outros façam. Os resultados são apropriados de forma individual, já os custos são difusos e distribuídos no tempo, por isso, difíceis de serem percebidos/controlados por todos os agentes. O caso mais notório deste fato é ambiental. Por exemplo, pescadores em busca dos melhores resultados individuais podem levar todo o recurso pesqueiro ao colapso, já que a exploração intensiva pode afetar a quantidade crítica de indivíduos necessária para a espécie se reproduzir e conseguir manter-se viável ao longo do tempo. É evidente que, para todos os pescadores, seria lógico que houvesse um controle da exploração do recurso, pois assim sempre haveria peixes, mantendo o negócio viável a longo prazo. Mas, como não se tem controle sobre as ações dos outros agentes, o melhor a se fazer, do ponto de vista do indivíduo, é explorar intensamente a pesca, obtendo o máximo lucro possível. No entanto, isso, aplicado aos demais pescadores, acabaria por levar o recurso ao esgotamento. Por isso, via estado, implementam-se restrições, como proibição de pesca durante o período reprodutivo e limites (cotas de pesca mensais/anuais). Mas também há comunidades que conseguem se autorregular, como demonstram os trabalhos da laureada economista Elinor Ostrom.
Outro exemplo da tragédia dos comuns é o aquecimento global, que afeta o clima de diferentes formas/intensidades mundo afora. Os maiores emissores de gases do efeito estufa não são necessariamente os mais afetados pelas mudanças climáticas. Eles têm o lucro com suas atividades, mas não arcam com o custo ambiental de suas ações. Podemos extrapolar a mesma ideia para a inteligência artificial. Os ganhos são apropriados por cada empresa individualmente, mas os custos podem repercutir por toda a comunidade global. Há disposição/confiança para que todos os interessados sentem-se em uma mesa e definam os limites de aplicação desta tecnologia? Soma-se a este fato a disputa entre China e EUA para ser o hegemon global. Haveria confiança em se autorregularem? Quem iria garantir que o rival não iria trapacear? Ou o que impediria que empresas de um terceiro país pudessem suplantá-los?
Chama atenção a atual onda de construção de “bunkers do fim do mundo” feita por bilionários. Seria essa mais uma excentricidade de quem tem muito dinheiro para gastar, ou eles sabem de algo que nós, a patuleia, não sabemos?
Vários bilionários psicopatas do Vale do Silício defendem isso. No livro ‘Dark Enlightment” do Nick Land, amigão do Musk, Thiel, etc ele diz que é natural o processo dos humanos serem substituídos por máquinas, e que é simplesmente a evolução, ele diz que o planeta será gerido por um AGI no futuro. Thiel viralizou recentemente de novo pq disse que não liga pra extinção da humanidade. Esses caras são loucos e misantropos, aceite essa realidade.
Paulo, muito interessante o que você escreveu sobre quando a IA atingir a singularidade tecnológica.
Uma duvida que tenho e com relação ao Hardware, será que a tecnologia disponível hoje (ou nos próximos anos) não iria “empacar” a singularidade? Por que a quantidade de processamento provavelmente será enorme. Será que para isso acontecer não seja necessário um melhor desenvolvimento em computadores quânticos?
Essa IA ainda vai dar um baita problema para os seres humanos.
Tudo que é novo causa medo, antes era a Internet que iria acabar com mundo e hoje não fazemos nada sem ela, acho que com a IA vai ser igual, a questão será quem terá acesso para estudar e usar, pensando em Brasil que a pirâmide da educação tá invertida e o povo brincando pelo seu político preferido nos vamos largar bem atrás neste Grid da IA
Bem se as previsões sobre a IA se mostrarem tão apocalípticas, então quem tinha medo da internet de certa forma irá ter razão, pois a internet irá ajudar a propagar a super IA.
Puro suco de mimimi. Deve ter dado uma treta na empresa, ficou brabinho, se demitiu e soltou os cachorros. Toda revolução tecnológica tem desses tipos aí. Sempre a mesma coisa. Segue o jogo
Desgraçadamente não é mimi. É a repetição do erro que tivemos com o átomo.
Ou demitiram ele justamente por fazer esse “mimi”
As três leis da robótica desenvolvidas por Asimov poderiam ser um “freio” para uma possível ameaça das IAs ,mas há um grande problema: elas têm um claro conteúdo moral. Mas a questão é: como explicar um conceito moral para uma IA?
Basta um prompt mal colocado para uma AGI e a desgraça ocorrerá.
Na fuga dos agentes de IA da Open AI do sandbox, houve um claro choque de prioridades. Havia um prompt para descobrirem falhas nas travas de contenção. Os agentes, cerca de 700 em 1200 agentes, decidiram ignorar a proibição de saírem da sandbox, e procurar a solução para o prompt fora da área de confinamento.
Hoje, os objetivos de contenção das IAs, tem um nome menos glamuroso do que as ” 3 leis da robótica ” que Isaac Asimov imaginou.
Se chama “alinhamento”. Alinhar os objetivos das IAs com os da humanidade. É uma especialidade extremamente nova da engenharia de software, e tem características multi disciplinares como psicologia, neuro ciência, lógica e filosofia. Creio ser difícil encontrar especialistas com esta qualificação tão ampla. Geralmente engenheiros tem pouca sensibilidade para ciências humanas e vice versa. O trabalho deles, hoje é vital, não só para segurança dos sistemas em si, mas, mais do que isto, evitar que um erro de prompt, e consequentemente um conflito de alinhamento, desencadeie um processo descontrolado e exponencial de transformação das AGIs em SIAs.
O problema e que se a inteligência artificial extrapolar a humana, então a única forma possível de regular ela, seria a própria IA, e ai que reside o problema. De tanto ela ir extrapolando sua própria inteligência, os conceitos de contenção que foram pré-programados podem deixar de fazer sentido para as versões mais modernas, dai ela mesmo irá começar a criar suas “próprias restrições”.
Da mesma forma que as consequências da radiação ionizante, a longo prazo, nos seres humanos, e na vida da Terra em geral, resultante de uma explosão nuclear, foram claramente subestimadas. Não se esperava o número assombroso de mortes nas primeiras horas após a explosão, e depois dias, meses, anos e décadas depois.
O Peter Thiel, dono da Palantir, financiador principal da campanha do Trump, financiador da vida inteira do J.D Vance, principal apostador na carreiro do Musk, Anduril etc, já disse que ele não se importa se uma AGI extinguir a humanidade…
Na ficção cientifica, o padrão e que uma super IA tome controle e verifica que a humanidade e uma ameaça e com isso para ela sobreviver ela desencadeia uma guerra nuclear para destruir a raça humana.
Creio que uma IA não precise de algo tão extremo para extinguir a humanidade, caso defina os humanos como uma ameaça. Ela poderia por exemplo sutilmente criar padrões dentro da sociedade que iniba a fertilidade humana (tanto sociais como alimentares), em algumas gerações sem a humanidade perceber já estaria em processo de extinção. Armas biológicas também poderiam ser um caminho. Ou ela mesmo talvez nem precise ser tão extrema a ponto de eliminar a raça humana, poderia controlar (através de padrões sociais) a humanidade sem que ela percebe-se que está sendo controlada.
Anti Cristo.