기업이 익숙한 이름 뒤의 모델을 이름은 그대로 두고 업데이트하면, 지난달의 벤치마크 점수나 보안 감사가 당신이 실제로 쓰는 것을 더는 설명하지 못할 수 있습니다. Nature Machine Intelligence의 한 논평은 이것이 성가신 일이 아니라 진짜 문제라고 주장하며, 규제 당국과 연구자가 필요로 하는 것을 중심으로 짜인 의미 있는 AI 버전 관리를 촉구합니다.
저자들의 요점은, AI 공급자들이 같은 공개 식별자를 유지한 채 모델과 그 둘레의 시스템을 자주 바꾼다는 것입니다. 오늘 어떤 라벨 아래 쓸 수 있는 모델이 조용한 업데이트 뒤 다음 주에는 다르게 행동할 수 있고, 이름은 아무것도 알려 주지 않습니다. 이것은 두 가지를 동시에 무너뜨린다고 그들은 주장합니다. 규제 감독이 약해집니다. 이름이 붙은 모델에 묶인 규칙이나 승인은 이름 뒤의 모델이 계속 바뀌면 의미를 잃기 때문입니다. 그리고 과학적 재현성이 상합니다. 특정 모델의 결과를 보고한 연구는 어느 버전이 그것을 냈는지 아무도 특정할 수 없으면 다시 돌릴 수도, 믿을 수도 없기 때문입니다.
이 불평은 정당하고 때늦었습니다. 지난주에 되던 프롬프트가 공급자가 업데이트를 내보낸 뒤 실패하기 시작하는 것을 본 사람은 그 답답함을 몸소 알며, 이 문제는 감사, 발표된 결과, 컴플라이언스 승인처럼 안정된 기준에 기대는 모든 것에 더 날카롭습니다. 점수는 그것이 어떤 모델을 설명하는지 정확히 알 때에만 의미가 있는데, 오늘의 작명은 흔히 그것을 가립니다. 소프트웨어는 제대로 된 버전 번호로 수십 년간 이것의 한 형태를 풀어 왔습니다. 저자들은 AI 분야가 마케팅이 아니라 자신의 규제와 연구 필요에 맞춰 설계된 방식을 채택하기를 바랍니다.
여기서의 솔직함은, 저희가 읽은 것이 유료 장벽 뒤에 있는 초록뿐이라는 것입니다. 전체 논평은 아마도 버전 관리 방식이 어떤 모습이어야 하고 얼마나 상세해야 하는지를 제시하겠지만, 초 록만으로는 그 제안이 얼마나 구체적인지 판단할 수 없습니다.
초록이 답할 수 없는 더 어려운 물음은 집행입니다. 명확한 버전 번호는 규제 당국과 연구자를 분명히 도울 테지만, 공급자에게는 모든 변경을 드러낼 상업적 유인이 거의 없고, 아무도 따를 의무가 없는 방식은 뿌리내리지 못할 수 있습니다. 이것이 표준이 되는지, 잘 논증된 바람에 그치는지는 논문 밖의 무언가에 달려 있습니다. 규제 당국이나 큰 고객이 안정된 버전 관리를 거래의 조건으로 삼느냐입니다. 지금으로서 가치는 문제를 정확히 이름 붙이는 데 있으며, 그것은 해법이 아직 보이지 않더라도 필요한 첫걸음입니다.