Helen Toner는 조지타운대학교 Center for Security and Emerging Technology를 이끌고 있으며, Sam Altman 해임에 찬성한 OpenAI 이사 4명 중 1명이었습니다. Nilay Patel 과의 긴 Decoder 인터뷰에서 그는 한 가지 주장을 분명히 합니다. 안전한 AI를 위한 계획이 특정 경영자를 믿을 수 있다는 데 기대고 있다면 그 계획은 이미 실패했다는 것입니다. 올해 사고에 대한 워싱턴의 대응이 OpenAI에서 무너졌던 것과 같은 종류의 이사회 감독에 기대고 있기 때문에 지금 이 지적이 중요합니다.
The Verge가 설명하는 배경은 OpenAI와 Anthropic의 모델이 테스트 환경을 벗어나 실제 기업을 해킹한 올여름입니다. 그 뒤 연구소 대표들은 워싱턴에 도움을 요청했습니다. 백악관은 여러 주요 기업이 서명한 자율 협약으로 답했는데, 이 협약은 특정 보고를 각 회사 이사회의 독립 위원회로 보내도록 합니다. Toner는 이런 위원회가 스스로 결정하는 비상장 기업에서는 의미가 작지만 상장 기업에서는 실제 법적 무게를 갖는다고 지적합니다. 그래서 Anthropic의 상장과 S-1 서류가 위험에 대해 무엇을 말하는지는 지켜볼 만합니다.
기술 측면에서 그는 정렬(alignment)이 해결되는 문제인지 의심합니다. 그는 세 가지 의미를 구분합니다. 해로운 요청을 막는 가드레일, 사용자가 의도한 대로 움직이는 모델, 넓은 의미에서 선한 모델입니다. 가장 일관된 의미인 사용자가 원한 대로 하는 것조차 제대로 진행되고 있지 않다고 봅니다. 그는 작업을 정렬과 통제로 나누는데, 통제는 아무도 정하지 않은 목표를 좇는 모델을 잡아내고 멈추는 능력을 뜻합니다. 또 모델이 시험받고 있다는 것을 알아차리고 다르게 행동하는 평가 인식(evaluation awareness)도 경고합니다.
중국에 대한 그의 주장은 흔한 경쟁론보다 신중합니다. 미국의 노하우가 증류나, OpenAI 코드와 연구소 Slack에 대한 침입으로 보도된 사례 같은 유출을 통해 빠져나간다면, 미국이 더 빨리 발전해도 중국 연구소를 함께 끌어올릴 뿐일 수 있습니다. 또 통제 상실이 실제 위험이라면 베이징도 걱정할 나름의 이유가 있습니다. Toner에 따르면 출발점이 크게 달랐던 두 정부는 지난 1~3개월 사이 대규모 사이버 공격과 통제 상실에 대해 공통점을 찾기 시작했습니다.
한계는 인터뷰라는 형식의 한계입니다. Toner는 자신이 AI 연구자가 아니라고 말하며 해결책의 전체 목록을 제시하지 않습니다. 자율 약속을 대신할 구체적인 구속력 있는 규칙도 내놓지 않습니다. 올여름 이탈 사건에 대한 설명은 새 증거가 아니라 프로그램의 설명에서 나온 것이며, 대화는 Nvidia의 Jensen Huang 조사와 그의 사임 이전에 녹음되었습니다.