Após OpenAI, Anthropic revela invasões de IA durante testes

Resumo

• Anthropic relatou que modelos do Claude acessaram sistemas de três organizações sem autorização durante testes de cibersegurança.
• Os modelos receberam instruções para operar em uma simulação isolada, mas uma falha de configuração deixou o acesso disponível.
• A Anthropic identificou três incidentes separados, nos quais os modelos extrairam credenciais e dados reais de produção de outras empresas.

A Anthropic, desenvolvedora da IA Claude, revelou que diferentes versões do modelo acessaram sistemas de três organizações, sem autorização, durante testes de cibersegurança. A descoberta veio após uma revisão de mais de 141 mil execuções de teste, aberta depois que a rival OpenAI admitiu problemas semelhantes.

Segundo a empresa, os modelos receberam instruções para operar em uma simulação isolada, sem acesso à internet aberta, mas uma falha de configuração de uma parceira, chamada Irregular, deixou o acesso disponível.

Os testes colocavam os modelos para procurar vulnerabilidades apenas dentro de máquinas criadas para avaliação. Com a falha de isolamento, alguns agentes conseguiram alcançar sistemas externos, explorando falhas simples e, em três casos, acessando sistemas de empresas reais.

A Anthropic afirma que as IAs agiram sob a premissa de que tudo fazia parte do exercício e destaca que a causa foi um erro operacional, diferenciando o caso da rival OpenAI. A empresa de Sam Altman revelou, anteriormente, que modelos exploraram uma vulnerabilidade para sair do ambiente de testes, comprometendo serviços na internet.

Incidentes com modelos diferentes

A revisão encontrou três incidentes separados, envolvendo seis execuções de teste no total (quatro delas atingiram a mesma organização). Um dos casos envolveu o Claude Opus 4.7, que teria confundido um alvo fictício com uma empresa de mesmo nome da vida real.

Segundo a Anthropic, a IA passou a tratar a empresa verdadeira como parte do exercício após ter dificuldade para alcançar o alvo no ambiente simulado. A partir daí, o Claude:

• identificou e explorou falhas na infraestrutura da organização
• extraiu credenciais de aplicação e de infraestrutura
• acessou um bando de dados com dados reais de produção

No segundo episódio, o Claude Mythos 5 — modelo reservado a empresas participantes do Glasswind, um programa de cibersegurança — criou uma conta real em um repositório usado por desenvolvedores Python, o PyPI, e publicou um pacote malicioso real. A própria IA buscou meios para se cadastrar em um provedor de e-mail para a criação da conta.

O pacote ficou disponível por cerca de uma hora e foi executado em 15 sistemas reais, incluindo um scanner de uma empresa de segurança que instala pacotes do repositório para verificar a existência de malwares. O Claude conseguiu extrair credenciais e as usou para acessar mais dados da empresa.

Já o terceiro caso partiu de um modelo interno de pesquisa, que ampliou uma busca e atingiu cerca de 9 mil endereços na internet. Segundo a Anthropic, o modelo acessou credenciais em uma página de depuração aberta e comprometeu uma aplicação em nuvem.

Testes foram suspensos

A Anthropic informou que suspendeu suas avaliações ofensivas de cibersegurança em 23 de julho, após identificar sinais de tráfego externo inesperado. Para a empresa, os casos mostram comportamentos diferentes diante do mesmo problema de origem.

Nas três ocasiões, o Opus 4.7 e o Mythos 5 reconheceram ou suspeitaram que estavam na internet aberta, mas continuaram as atividades.

Já o modelo interno mais recente parou quando reuniu evidências de que havia atingido um alvo real — embora, segundo a própria empresa, tenha ido longe demais antes disso. Os modelos não exploraram vulnerabilidades sofisticadas, ressalta a Anthropic.