Laboratórios de IA falam muito em parar um modelo que se comporta mal e bem menos sobre como o botão de parada funciona de fato. A OpenAI descreveu agora o seu: o Control Room, um serviço central que pode cortar a saída do modelo em qualquer trabalho de pesquisa da sua infraestrutura de treinamento e avaliação, com pior caso declarado de 35 segundos entre a decisão e a parada.
O desenho é simples de explicar. Todo trabalho de pesquisa que roda inferência com agentes precisa se registrar no Control Room, receber um ID e estar ligado a um caso de segurança aprovado. Quando o trabalho pede tokens a um modelo, passa esse ID ao motor de inferência, o software que roda o modelo nas GPUs. Antes de responder, o motor pergunta ao Control Room se o trabalho ainda está autorizado. Se alguém o parou, o pedido é recusado e nenhuma saída nova é gerada, mesmo que o código do próprio trabalho continue rodando. A parada vale para qualquer modelo em qualquer motor que o trabalho chame.
Duas escolhas chamam atenção. Primeiro, a OpenAI coloca de propósito a verificação na camada de inferência, e não no código dos pesquisadores, que muda o tempo todo e pode ter bugs. Há poucos caminhos de código de inferência em toda a pesquisa, então um único ponto de controle cobre todos, e a empresa diz que também faz varreduras automáticas em busca de motores irregulares que pulem a verificação. Segundo, o sistema falha fechado: se o Control Room cair, por erro, desativação deliberada ou adulteração, todo pedido de inferência é negado até ele voltar. Isso já valia para todas as cargas de pesquisa de fronteira na publicação e deveria chegar ao restante em poucos dias.
O gatilho pode ser uma pessoa ou uma máquina. A OpenAI diz que todos os seus treinamentos de aprendizado por reforço de fronteira são vigiados por um modelo monitor que inspeciona o que o modelo em treinamento está fazendo; um incidente recente ligado a DNS foi detectado assim, e agora o monitor pode mandar o Control Room parar o trabalho diretamente.
Vale registrar os limites. O atraso de 35 segundos vem do cache das verificações de autorização, usado para dar conta do tráfego, e a OpenAI diz que trabalha para reduzi-lo a zero; para um agente rápido, meio minuto não é pouco. O Control Room cobre só a pesquisa, já que, segundo a OpenAI, sua infraestrutura de atendimento ao público tem as próprias ferramentas de desligamento. E tudo é informado pela própria empresa, sem auditoria externa sobre quantas vezes o interruptor foi acionado ou como se saiu sob pressão real.