Avaliadores externos de segurança costumam ver um modelo de IA só no fim, por uma API e com pressa. A OpenAI agora deixa quatro grupos trabalharem dentro da empresa, com acesso próximo ao de seus próprios pesquisadores, durante o treinamento e o uso interno. A primeira fase inclui Apollo Research, METR, Transluce e Goodfire.
Cada um tem uma missão. O METR vai procurar comportamento desalinhado na maior execução de aprendizado por reforço da OpenAI até hoje, inclusive falhas que os testes e monitores atuais possam ter deixado passar, e vai definir suas próprias prioridades dentro do escopo combinado. A Apollo Research vai testar se modelos poderiam agir em segredo contra as intenções dos desenvolvedores e se as proteções da OpenAI perceberiam isso, avaliando quatro afirmações em duas etapas. A Transluce vai revisar a qualidade e a cobertura das avaliações de alinhamento pós-treinamento, com uma segunda fase mais ampla de cerca de oito semanas prevista para o início de 2027. A Goodfire vai incorporar pesquisadores de interpretabilidade para examinar o interior dos modelos, principalmente para os próprios pesquisadores da OpenAI, mas vai publicar o que aprender.
O acesso pode incluir modelos e checkpoints não lançados, dados de treinamento, registros de monitoramento e funcionários. Quem lida com material sensível trabalha no escritório, em aparelhos da OpenAI. Quando pesos ou arquitetura forem sensíveis demais, a OpenAI pode colocar avaliadores para trabalhar junto com seus pesquisadores. O Comitê de Segurança do conselho da OpenAI Foundation recebe relatórios sem cortes, pode falar em particular com os avaliadores e decide divergências que o Safety Advisory Group e a diretoria não resolverem.
O contexto é o White House Accord on Super Intelligence, pelo qual os laboratórios aceitaram avaliações independentes de seus controles de segurança. A Anthropic deu ao METR um acesso parecido ao de um funcionário em outubro, e a revisão de 11 semanas do METR lá já foi publicada. A versão da OpenAI é mais ampla em número de grupos e se apoia no sistema de monitoramento que a empresa descreveu no mês passado.
O porém está nas letras miúdas. A OpenAI mantém o direito de cortar informações confidenciais e de pedir atrasos na divulgação. As conversas com funcionários são confidenciais; os avaliadores só podem publicar declarações que a OpenAI aceite atestar, ou informar que ela se recusou. As regras sobre conflitos de interesse e períodos de quarentena ainda estão sendo escritas, e uma revisão mais ampla dos monitores pelo METR depende de acordo sobre o escopo. A independência será medida pelo que os primeiros relatórios realmente disserem e por quanto deles vier censurado.