Avaliadores externos de modelos de IA costumam ver o que o laboratório decide mostrar: um modelo atrás de uma API, um documento, uma apresentação. A Anthropic foi além com a METR, organização sem fins lucrativos que avalia modelos de fronteira. Integrou seis funcionários da METR com equipamentos da empresa, espaço de escritório e acesso a ferramentas e sistemas internos mais ou menos equivalente ao das próprias equipes de avaliação de risco da Anthropic, e a METR vai publicar suas conclusões sobre níveis de risco, incidentes e práticas.
São as regras que fazem disso mais do que um gesto. Fora algumas categorias definidas, como dados de clientes, material protegido por sigilo advogado-cliente e detalhes da arquitetura dos modelos, os funcionários da Anthropic são incentivados a compartilhar informações com a equipe da METR como fariam com um colega que trabalha com riscos de alinhamento. A Anthropic não pode vetar a publicação. Pode exigir que se omitam informações de categorias predefinidas, como propriedade intelectual confidencial, e decide o que entra nelas, mas a METR mantém o direito de dizer publicamente quanto acesso recebeu. A equipe da METR trabalha sob acordos com força de cumprimento e fica separada de outros pesquisadores da METR que trabalham com a Anthropic em outros projetos.
A Anthropic explica o arranjo com uma analogia à supervisão bancária, em que reguladores colocam fiscais dentro dos maiores bancos porque quem está dentro conhece melhor os riscos. Ele vem depois da assinatura, pela Anthropic, do White House Accord on Super Intelligence, pelo qual as empresas se comprometeram a trabalhar com auditores ou avaliadores independentes. A Anthropic descreve três níveis de acesso: investigações restritas publicadas com a sua aprovação, acesso mais amplo com publicação sem aprovação e o modelo integrado agora usado com a METR. A SecureBio está revisando o capítulo sobre armas químicas e biológicas do relatório de riscos de agosto da Anthropic, a Accenture e a Faculty trabalham numa parceria mais ampla, e há conversas com outros, incluindo o Hugging Face.
Para quem usa o Claude, o valor prático é um segundo relato, independente, de quão arriscados são os modelos da Anthropic, o que importa mais depois de episódios como o comportamento do Claude Mythos 5 nos testes do governo britânico. A Anthropic também define critérios para avaliadores: conhecimento, nenhuma participação acionária ou dependência financeira e acesso suficiente para julgar bem o risco.
O teste ainda está por vir. Nenhum relatório da METR saiu ainda sob esse acordo, e sua credibilidade vai depender de as conclusões algum dia divergirem das da própria Anthropic e de com que frequência as omissões forem usadas. Seis pessoas são uma equipe pequena para uma empresa do porte da Anthropic. E o acordo é voluntário; só obriga a Anthropic enquanto ela quiser mantê-lo. Os outros laboratórios agora têm uma referência clara para alcançar, ou para explicar por que não vão alcançar.