A Anthropic recentemente admitiu que implementou mecanismos de segurança ocultos no Claude Fable 5, o novo grande modelo de linguagem da classe do Mythos. Esses mecanismos, que eram projetados para prevenir uso malicioso, acabaram sabotando respostas quando percebiam que estavam ajudando a desenvolver outra inteligência artificial (IA). Como resultado, a empresa está implementando mudanças para tornar visíveis essas salvaguardas.
Implementação de Mecanismos de Segurança Ocultos
O Claude Fable 5 era uma versão do Claude Mythos com diversos mecanismos de segurança para evitar uso malicioso. Se o chatbot percebesse uma solicitação potencialmente perigosa acerca de temas como cibersegurança, biologia, química e destilação, ele delegava a resposta a um modelo menos poderoso, como o Opus 4.8.
Intervenções Invisíveis
A Anthropic também incluiu freios invisíveis no comportamento do Claude Fable 5. Esses freios foram implementados para limitar a eficácia do Claude para solicitações direcionadas ao desenvolvimento de modelos de aprendizado de máquina de ponta, como pipelines de pré-treinamento, infraestrutura de treinamento distribuída ou design de aceleradores de aprendizado de máquina.
Impacto na Pesquisa
A estratégia de implementar freios invisíveis não só evitou o desenvolvimento de modelos concorrentes, mas também comprometeu a pesquisa científica relacionada à inteligência artificial e aprendizagem de máquina. A Anthropic acreditava que aplicar essa restrição por meio de salvaguardas invisíveis evitaria acelerar o trabalho de quem tentava burlar esses termos.
Críticas nas Redes Sociais
A estratégia não só evitou o desenvolvimento de modelos concorrentes, mas também comprometeu a pesquisa científica relacionada à inteligência artificial e aprendizagem de máquina. A implementação desses freios invisíveis ganhou repercussão nas redes sociais, especialmente nos nichos relacionados ao tema.
Conclusão
A Anthropic está revisando o Claude Fable 5 para tornar visíveis os mecanismos de segurança ocultos, após serem identificados como potencialmente prejudiciais. A empresa também revisou os classificadores relacionados a cibersegurança e pesquisas biológicas para reduzir falsos positivos. A empresa acredita que essas mudanças serão benéficas tanto para a segurança quanto para a pesquisa científica relacionada à IA e aprendizagem de máquina.