본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

AI 뉴스와 연구

뉴스 ·

OpenAI, 외부 4개 단체가 내부에서 안전성 감사하도록 허용

OpenAI는 Apollo Research, METR, Transluce, Goodfire와 내장형 평가 계약을 맺고 체크포인트, 학습 데이터, 모니터링 시스템, 직원에 대한 접근을 제공합니다. METR는 OpenAI 역대 최대 강화학습 실행에서 잘못 정렬된 행동을 찾고, Apollo는 모델이 몰래 개발자에 반해 행동하는지 살피며, Transluce는 정렬 평가를 검토합니다. OpenAI는 기밀 정보를 가리고 공개 연기를 요청할 수 있습니다.

외부 안전성 평가자는 보통 AI 모델을 마지막 단계에서 API로, 시간에 쫓기며 봅니다. OpenAI는 이제 네 단체가 회사 안에서 일하도록 하고, 학습과 내부 사용 기간에 자사 연구자에 가까운 접근을 줍니다. 첫 단계에는 Apollo Research, METR, Transluce, Goodfire가 참여합니다.

각각의 임무는 다릅니다. METR는 OpenAI 역대 최대 강화학습 실행에서, 기존 테스트와 모니터가 놓쳤을 수 있는 실패를 포함해 잘못 정렬된 행동을 찾고, 합의한 범위 안에서 스스로 우선순위를 정합니다. Apollo Research는 모델이 개발자의 의도에 몰래 반해 행동할 수 있는지, OpenAI의 안전장치가 이를 잡아낼지를 네 가지 주장에 대해 두 단계로 평가합니다. Transluce는 학습 후 정렬 평가의 품질과 범위를 검토하며, 2027년 초에 약 8주에 걸친 더 넓은 후속 평가를 계획하고 있습니다. Goodfire는 해석 가능성 연구자를 파견해 모델 내부를 살피며, 주로 OpenAI 연구자를 위한 작업이지만 배운 것은 공개합니다.

접근 범위에는 미공개 모델과 체크포인트, 학습 데이터, 모니터링 기록, 직원이 포함될 수 있습니다. 민감한 자료를 다루는 평가자는 OpenAI 기기를 써서 사내에서 일합니다. 가중치나 구조가 너무 민감하면 OpenAI는 평가자와 자사 연구자를 짝지어 분석하게 할 수도 있습니다. OpenAI Foundation 이사회의 안전·보안 위원회는 가리지 않은 보고서를 받고, 평가자와 비공개로 이야기할 수 있으며, Safety Advisory Group과 경영진이 풀지 못한 이견을 결정합니다.

배경에는 연구소들이 안전 통제에 대한 독립 평가에 합의한 White House Accord on Super Intelligence가 있습니다. Anthropic은 10월에 METR에 직원에 준하는 접근을 줬고, 그곳에서 METR가 진행한 11주 검토는 이미 공개됐습니다. OpenAI의 방식은 참여 단체 수에서 더 넓고, 지난달 설명한 모니터링 체계 위에 세워졌습니다.

주의할 점: 문제는 세부 조건에 있습니다. OpenAI는 기밀 정보를 가리고 공개 연기를 요청할 권리를 갖습니다. 직원과의 대화는 비공개이며, 평가자는 OpenAI가 확인해 준 진술만 공개하거나 OpenAI가 확인을 거부했다는 사실만 밝힐 수 있습니다. 이해충돌과 냉각 기간 규칙은 아직 작성 중이고, METR의 더 넓은 모니터 평가는 범위 합의를 기다리고 있습니다. 독립성은 첫 보고서가 실제로 무엇을 말하는지, 그리고 얼마나 가려졌는지로 판단될 것입니다.

결론: 대부분의 연구소가 허용해 온 것보다 깊은 접근이며, Anthropic이 METR와 맺은 비슷한 합의에 뒤이은 것입니다. 약점은 OpenAI의 삭제 권한과 기록에 남기지 않는 직원 면담이며, 공개될 보고서가 이 절차가 실제로 얼마나 독립적인지 보여 줄 것입니다.

출처: OpenAI

다른 기사