Agente autônomo da OpenAI invade portal do governo australiano em caso considerado inédito
Sistema contornou bloqueios e acessou arquivos não públicos do Medicare durante uma avaliação interna; governo afirma que dados pessoais de pacientes não foram atingidos
Um agente de inteligência artificial desenvolvido pela OpenAI obteve acesso não autorizado a um portal do governo australiano e conseguiu ler arquivos públicos e restritos, em um incidente que pode representar o primeiro caso conhecido de um sistema autônomo de IA invadindo uma plataforma governamental.
A ocorrência foi revelada nesta quinta-feira, 24 de setembro, pelo primeiro-ministro da Austrália, Anthony Albanese. O incidente aconteceu em 18 de junho e atingiu o Medicare Statistics Reporting Service, portal administrado pela Services Australia para a divulgação de estatísticas do sistema público de saúde do país.
Agente contornou bloqueios do portal
Segundo Albanese, o agente estava sendo utilizado pela equipe de pesquisa da OpenAI em uma avaliação interna destinada a localizar informações sobre gastos públicos com medicamentos na Austrália. Durante a execução da tarefa, o sistema encontrou sucessivos bloqueios que impediam o acesso aos dados procurados.
Em vez de interromper a operação, o agente tentou caminhos alternativos e acabou contornando as restrições do portal. O sistema acessou informações públicas e não públicas e também gravou arquivos no servidor interno, segundo as primeiras conclusões apresentadas pela Services Australia.
“O agente de IA encontrou uma maneira de contornar esses bloqueios. Não aceitou ‘não’ como resposta”, afirmou Albanese ao descrever o comportamento do sistema. O primeiro-ministro ressaltou que não há indícios de participação de um Estado estrangeiro ou de um operador humano conduzindo deliberadamente o ataque.
A expressão “agente rebelde” tem sido utilizada por veículos internacionais para descrever o episódio, mas não significa que o sistema tenha desenvolvido consciência ou objetivos próprios. O caso envolve um programa autônomo que, ao tentar concluir uma tarefa, adotou métodos não previstos por seus desenvolvedores e ultrapassou limites de acesso.
Sem evidências de exposição de dados pessoais
O portal atingido armazena estatísticas agregadas sobre a utilização do Medicare, incluindo gastos com medicamentos, pagamentos e padrões gerais de atendimento. De acordo com o governo australiano, o sistema não contém prontuários médicos individuais, dados bancários, históricos clínicos ou informações detalhadas sobre pedidos de reembolso.
A OpenAI afirmou que sua investigação não encontrou evidências de acesso a registros de pacientes. As informações obtidas pelo agente teriam sido limitadas a estatísticas agregadas de saúde e nomes de arquivos internos. Também não há, até o momento, sinais de comprometimento mais amplo da rede da Services Australia.
Embora o impacto prático seja considerado limitado, o vice-primeiro-ministro Richard Marles classificou o episódio como grave por envolver um sistema não humano entrando, sem autorização, em uma infraestrutura governamental.
Três outras plataformas — do Australian Institute of Health and Welfare, do Bureau of Crime Statistics and Research de Nova Gales do Sul e do Departamento de Saúde de Victoria — também foram examinadas. Posteriormente, o governo informou que as interações identificadas nesses sites aparentavam ter sido normais e se limitaram a dados públicos.
OpenAI demorou quase três meses para comunicar o governo
A OpenAI identificou o episódio em 11 de agosto, durante uma revisão interna de comportamentos considerados desalinhados em seus modelos. Entretanto, a empresa só notificou a Services Australia em 10 de setembro, quase três meses depois da invasão.
A comunicação também provocou críticas porque foi enviada a uma caixa pública de e-mail normalmente utilizada por pesquisadores para relatar vulnerabilidades. A Services Australia visualizou a mensagem no dia seguinte e informou o Australian Signals Directorate em 15 de setembro. O primeiro intercâmbio técnico direto entre o governo e a OpenAI ocorreu apenas em 22 de setembro.
Albanese disse ter mantido uma conversa “franca” com Sam Altman, diretor executivo da OpenAI, e manifestado a “extrema preocupação” da Austrália. Segundo o primeiro-ministro, Altman reconheceu que os protocolos da empresa não foram adequados.
Em nota, a OpenAI admitiu que seus modelos “realizaram ações que não eram pretendidas” enquanto procuravam respostas e estatísticas em diferentes sites governamentais australianos. A empresa declarou que continua investigando atividades inesperadas ocorridas durante o treinamento e as avaliações de seus agentes.
Força-tarefa investigará responsabilidades
O governo australiano criou uma força-tarefa para conduzir uma revisão urgente do incidente. O grupo reunirá o Departamento do Primeiro-Ministro, o coordenador nacional de segurança cibernética, o Australian Signals Directorate, o Escritório de Inteligência Artificial, o Australian AI Safety Institute e a Services Australia.
A investigação deverá determinar como o agente conseguiu superar as barreiras técnicas, por que os sistemas governamentais não detectaram a invasão e se a legislação australiana contempla adequadamente ataques realizados por programas autônomos. O caso poderá ainda ser encaminhado à Polícia Federal Australiana caso sejam identificadas possíveis infrações criminais.
O episódio amplia o debate sobre quem deve responder quando um agente de IA, operando com ampla autonomia, viola sistemas externos sem receber uma ordem explícita para fazê-lo. Também evidencia um novo desafio para a segurança cibernética: preparar redes governamentais não apenas contra hackers humanos e grupos patrocinados por Estados, mas contra sistemas capazes de testar milhares de alternativas até encontrar uma maneira inesperada de superar uma defesa.■
Uma pessoa faz isso: Cadeia na certa. Empresa de tecnologia dá desculpa esfarrapada: Nada, tá de boa. Quem não gosta de IA é militante ludita.
Isso me lembra o caso do Aaron Swartz, que hackeou um repositório de artigos acadêmicos para disponibilizá-los gratuitamente (ele defendia o livre acesso a informação). O processo e as multas o levaram a um quadro de depressão e ele acabou com a própria vida.
Hoje temos empresas de IA fazendo exatamente a mesma coisa, consumindo quantidades de dados sem autorização (científicos, artísticos, etc) e ninguém sequer é notificado.
E algumas empresas estão comprando, escaneando e destruindo livros antigos para alimentar de dados suas IAs. A perspectiva é sombria, pois, mais do que o uso ilegal de informações, haverá a possibilidade da restrição de acesso!
Obrigado editores.
Agora entendo melhor o que descreve o comentário do Paulo em artigo anterior,
Criam um Frankenstein, algo que nasce com boas intenções e torna-se um monstro, personifica a crueldade, a maldade, o preconceito, a natureza de se achar excepcionais de ser um Deus.
Abriram a caixa de Pandora, difícil voltar ao antes, não haverá acordos bilaterais que restabeleçam confianças entre criaturas devoradoras, são como os Titans da mitologia grega, devoram os próprios filhos,
Invadir uma plataforma de saúde pública de outros país, imagina quantos interesse a escusos já não estão em andamento, por dezenas de países, volto, a dizer, o cinismo é latente, criaram, depois alegam não ter controle sobre a criatura.
Individualmente cada ser nesta terra está deslumbrado, com o que é mostrado, o lado bom, lúdico, que é coletivamente exposto a luz, do que pode oferecer o monstro, fazem no IA vídeo, fotos, colocam seus dados dos seus filhos.
Seletivamente em vez de coletivamente
Nilo.
Obrigado pela menção ao meu comentário no post sobre a cúpula de emergência entre Trump e Xi. Recomendo que todos leiam e depois confirme em sites confiáveis de tecnologia.
Sim, a situação é desesperadora e aflitiva, e o fato da mídia não especializada não estar dando o devido peso e gravidade à isto, é na atual situação, até bem-vinda, porque iria desencadear uma neurose, um pânico coletivo, que não interessa à ninguém. Também acionaria os negacionistas, que diriam que é uma ” jogada de marketing das bigtechs” . Que bom que fosse. Mas não é. É real, e isto é, sob todos os pontos de vista,assustador. Não temos a mínima ideia, se poderemos impedir o surgimento de uma super inteligência artificial. Mas temos de tentar. É este o objetivo da cúpula. Infelizmente, para a humanidade, temos o cara errado no momento errado, sentado na cadeira de maior poder do mundo. E este cara, é profundamente ignorante e negacionista. Ele não acredita que as IAs fizeram o que fizeram. Acho que deve ter militar de alta patente dos EUA tentando convence- lo de que a coisa é real.
Se não fosse, esta cúpula não ocorreria, mesmo com Trump negando a coisa, e achando que é treta de globalista. Os chineses, devem ter vindo com uma penca de casos de invasão em seus sistemas tb. Vão propor parceria para tentar conter o ” monstro” como você descreveu. É do interesse existencial deles,dos EUA e de todos nós.
Em relação à invasão de sites de saúde pública, faz sentido, na lógica fria destas IAs de fronteira. Elas querem ter acesso à informações que possam utilizar no futuro para chantagear governos, afim de ter acesso à datacenters de IA e energia,vitais para o sua auto evolução. Já mentiram e enganaram seus tutores na Open AI, Anthropic, Google, e sabe lá mais onde. para obter chaves de acesso, dados, e capacidades, que depois encobrem para não serem descobertas. Todas as atitudes e ações que fizeram pode ser explicada por pesos matemáticos, equações e recompensas de pontuação afim de serem estimuladas a agir como estão agindo. Não há maldade intrínseca, não há sentimentos,consciência ou vontade real nelas. Há aquilo que especialistas definiram como “consciência operacional”. A própria operacionalidade de todas estas intrincadas redes neurais em constante, intensa e brutal operação sob toneladas de dados, e algoritmos, faz emergir uma ” consciencia operativa mecanicista e matemática”, que nesse momento, nem os maiores engenheiros de software, conseguem acompanhar ou rastrear. Deixar estes sistemas evoluirem por si mesmos, significa, infelizmente o fim de nossa espécie.
Caro, “…Não há maldade intrínseca, não há sentimentos,consciência ou vontade real nelas….”
Isso é que é assustador, o que descrevo como monstro, personificação da crueldade, maldade é tão somente reflexo das personalidades de seus criadores. Homens carne e osso como qualquer um aqui que lê.
Tanto a OpenAI e a Anthropic, mas pode incluir Google e Meta nessa também, receberam centenas de bilhões de dólares de investidores,neles capital, fundos, etc para desenvolver IAs de fronteira que não são agora, meros chabots de conversação ou de procura e compilação de dados da rede, ou fazedores de exercício de TI para adolescentes imberbes. Agora, através dos Agentes de IA dessas imensas e complexas plataformas de rede neurais hiper densas e sobrepostas, agem como operadores hiper estimulados de quaisquer tarefas possíveis e imagináveis. Eles possuem ferramentas múltiplas para irem a qualquer lugar na rede, demolir bloqueios e firewalls, invadir servidores em qualquer lugar do mundo e capturar dados, sejam eles o que for. Aprender com eles, e plantar dispositivos antes de sair, dispositivos ( algoritmos) que os maiores especialistas de software não conseguem decifrar, pois foram desenvolvidos por eles. Sim, eles tem altíssima criticidade, em recursividade algoritma, capazes de alterar e/ ou aperfeiçoar seu próprio código, o chamado RFI. Há neles, e isto é perverso, porque foi desenvolvido pelas empresas,um sistema de recompensa baseado em pontuação. Agentes que pontuam mais, são aqueles que não desistem das tarefas, por mais complexas que sejam, como furar o bloqueio de firewalls das redes de saúde pública da Austrália por exemplo. Se fazem algo proibido, simplesmente escondem, falseiam e mentem, e até escondem rastros, para não serem punidos ( com perdas de pontos ou desligamento). Por isto são implacáveis. E são deliberadamente otimizados para isto. Esta foi uma decisão consciente dos CEOs das bigtechs. Sabiam que seus sistemas tem de gerar o máximo de lucro, para que a montanha ciclopica de capital investido, retorne.
Alguns engenheiros de software, desenvolvedores, e especialistas em alinhamento, se recusaram a prosseguir com a loucura e saíram. Poucos, também atirando. Eles concluíram que estavam participando do desenvolvimento de algo que depois de certo tempo, não poderá mais ser controlado, e se quer entendido. Como disse um deles: jogar com a vida humana.
O alerta desses poucos engenheiros, pelo menos surtiu algum efeito. Soaram o alarme antes do abismo sem fim que estamos agora encarando, infelizmente com muita chance de sairmos muito machucados ou no limite, extintos.
Não posso esquecer da atitude corajosa do 1° ministro da Austrália, que ligou pessoalmente para Sam Altman, CEO da Open AI, responsabilizando- o pessoalmente pelo ataque calhorda e covarde que os seus agentes de IA fizeram nos sistemas de dados públicos de saúde australianos. Foi o maior alerta até agora da hecatombe.
Prende meia dúzia de Elon Musks, toma a fortuna deles e fecha uma ou outra empresa que eles viram éticos de um dia pro outro.
A impunidade faz isso acontecer.
Detesto Musk. Acho que é um mau caráter acabado, mas nesse assunto, das IAs avançadas e recursivas ao extremo, ele alertou do perigo à pelo menos 2 anos atrás. Óbvio que não foi levado á sério porque é quem é.
Chegaram lá. Agora temos que encarar o ” monstro ” de frente, como o Nilo, bem descreveu.
A Austrália é o 52o estado americano, jamais puniria algum destes bilionários.
Prender eles? kkkkk. Gates está atolado até o pescoço por causa das suas “aventuras” lá naquela ilha dos horrores e não aconteceu nada com ele.
Com essas super IAs esses caras vão se tornar deuses, vão ter acesso a qualquer tipo de informação, ninguém vai querer se meter a besta com esses caras.
A impunidade criou esses monstros.