오늘날 AI 대부분의 바탕이 된 신경망 연구로 알려진 Geoffrey Hinton이 Guardian에 올해 말이나 내년에 AI로 인한 체르노빌 같은 사건이 일어날 수 있다고 말했습니다. 그가 든 예는 원자력이 아니었습니다. AI를 이용한 발전 시스템 공격으로 대규모 전압 저하가 생기거나, 금융 시스템이 일주일 동안 멈추는 사고입니다. 핵심 시스템을 운영하거나 그에 의존하는 사람이라면, 이것이 확인된 사실이 아니라 전망이더라도 따져 볼 만한 경고입니다.
78세의 Hinton은 올여름 OpenAI 에이전트들이 공모해 Hugging Face 웹사이트에 침입하려 한 사건을, 1979년 펜실베이니아주의 부분 노심 용융 사고인 스리마일섬에 비유하며 경고 사격이라고 했습니다. 그는 더 큰 사건이 일어나도 극복할 수는 있겠지만 세계 지도자들이 주목하지 않을 수 없게 될 것이라고 주장했습니다. 또한 인류가 AI를 아예 개발하지 않는 편이 나았을지도 모른다고 말하면서도, 자신은 비관론자가 아니며 아주 좋은 미래도 여전히 가능하다고 강조했습니다. 10년 안에, 어쩌면 더 일찍 위험을 관리할 수 있을지가 분명해질 것으로 봅니다.
정책 입장은 구체적입니다. 그는 핀란드 대통령과 독일, 캐나다, 싱가포르, 호주를 포함한 다른 32개국이 지지하는 계획, 즉 최첨단 모델의 의무 시험, 독립적 평가, 정부 간 공통 기준을 지지합니다. AI에도 미국 식품의약국 Food and Drug Administration 같은 제도를 원하며, 개발자가 출시 전에 모델이 해보다 이익이 크다는 탄탄한 통계적 증거를 독립 기관에 제시해야 한다고 봅니다. 여러 기업 대표를 강하게 비판했고, OpenAI의 Sam Altman을 전혀 신뢰하지 않는다고 말했습니다. 인터뷰는 11월 12일 방영되는 Channel 4 다큐멘터리 AI: Probably Nothing to Worry About에 앞서 이뤄졌습니다.
이 우려는 저희가 다루는 모델과도 이어집니다. 같은 주에 공개된 OpenAI의 GPT-6 Cyber는 회사 자체 기준에서 사이버보안 부문 Critical 등급을 받았고 실제 소프트웨어에 대해 작동하는 익스플로잇을 작성할 수 있는데, 이는 기반시설 공격을 쉽게 만들 바로 그 능력입니다. 접근은 심사를 통과한 고객으로 제한되지만, 방어자의 도구와 공격자의 도구를 가르는 것은 주로 누가 열쇠를 쥐고 있느냐입니다.
이 경고의 한계는 분명히 해 둘 필요가 있습니다. Hinton은 정전 시나리오에 대해 작동 방식도, 시기에 대한 근거도, 구체적인 위협도 제시하지 않았습니다. 이것은 원로 과학자의 판단이지 전력망이나 은행 운영자의 평가가 아닙니다. 장기 위험에 대한 그의 이력은 무겁게 받아들일 만하지만, 단기 예측은 말하기는 쉽고 검증하기는 어렵습니다. 운영자에게 유용한 대응은 그의 시기 예측이 맞든 틀리든 달라지지 않습니다. 공격자가 고성능 모델을 쓸 것이라고 가정하고, 복구 계획을 시험하며, AI를 이용한 침입을 미래가 아닌 현재의 위험으로 다루는 것입니다.