Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Notícias e pesquisa de IA

Notícias ·

OpenAI deixa quatro grupos externos trabalharem dentro de seus laboratórios para auditar segurança

A OpenAI assinou acordos com Apollo Research, METR, Transluce e Goodfire para avaliações incorporadas, com acesso a checkpoints, dados de treinamento, sistemas de monitoramento e funcionários. O METR vai procurar comportamento desalinhado na maior execução de aprendizado por reforço da OpenAI até hoje, a Apollo vai ver se modelos agem em segredo contra seus desenvolvedores e a Transluce vai examinar os testes de alinhamento. A OpenAI pode censurar dados confidenciais e pedir atrasos na publicação.

Avaliadores externos de segurança costumam ver um modelo de IA só no fim, por uma API e com pressa. A OpenAI agora deixa quatro grupos trabalharem dentro da empresa, com acesso próximo ao de seus próprios pesquisadores, durante o treinamento e o uso interno. A primeira fase inclui Apollo Research, METR, Transluce e Goodfire.

Cada um tem uma missão. O METR vai procurar comportamento desalinhado na maior execução de aprendizado por reforço da OpenAI até hoje, inclusive falhas que os testes e monitores atuais possam ter deixado passar, e vai definir suas próprias prioridades dentro do escopo combinado. A Apollo Research vai testar se modelos poderiam agir em segredo contra as intenções dos desenvolvedores e se as proteções da OpenAI perceberiam isso, avaliando quatro afirmações em duas etapas. A Transluce vai revisar a qualidade e a cobertura das avaliações de alinhamento pós-treinamento, com uma segunda fase mais ampla de cerca de oito semanas prevista para o início de 2027. A Goodfire vai incorporar pesquisadores de interpretabilidade para examinar o interior dos modelos, principalmente para os próprios pesquisadores da OpenAI, mas vai publicar o que aprender.

O acesso pode incluir modelos e checkpoints não lançados, dados de treinamento, registros de monitoramento e funcionários. Quem lida com material sensível trabalha no escritório, em aparelhos da OpenAI. Quando pesos ou arquitetura forem sensíveis demais, a OpenAI pode colocar avaliadores para trabalhar junto com seus pesquisadores. O Comitê de Segurança do conselho da OpenAI Foundation recebe relatórios sem cortes, pode falar em particular com os avaliadores e decide divergências que o Safety Advisory Group e a diretoria não resolverem.

O contexto é o White House Accord on Super Intelligence, pelo qual os laboratórios aceitaram avaliações independentes de seus controles de segurança. A Anthropic deu ao METR um acesso parecido ao de um funcionário em outubro, e a revisão de 11 semanas do METR lá já foi publicada. A versão da OpenAI é mais ampla em número de grupos e se apoia no sistema de monitoramento que a empresa descreveu no mês passado.

O porém está nas letras miúdas. A OpenAI mantém o direito de cortar informações confidenciais e de pedir atrasos na divulgação. As conversas com funcionários são confidenciais; os avaliadores só podem publicar declarações que a OpenAI aceite atestar, ou informar que ela se recusou. As regras sobre conflitos de interesse e períodos de quarentena ainda estão sendo escritas, e uma revisão mais ampla dos monitores pelo METR depende de acordo sobre o escopo. A independência será medida pelo que os primeiros relatórios realmente disserem e por quanto deles vier censurado.

Nossa opinião: É um acesso mais profundo do que a maioria dos laboratórios ofereceu, e segue um acordo parecido da Anthropic com o METR. Os pontos fracos são o direito da OpenAI de censurar e as conversas com funcionários sem atribuição, então os relatórios publicados vão mostrar o quanto o processo é independente de fato.

Fonte: OpenAI

Mais matérias