대부분의 AI 벤치마크는 퍼즐, 시험 문제, 코딩 문제를 시험합니다. OpenAI의 LifeVal은 더 쓸모 있는 방향을 가리킵니다. 일상생활의 지루한 사무, 즉 사람들이 실제로 도움받고 싶어 하는 종류의 일에서 AI를 채점하는 것입니다. 어시스턴트가 언젠가 제값을 한다면, 그것은 보육을 찾고, 정부 서식을 채우고, 예산을 맞추는 일에서지 경시 수학에서가 아닙니다. 그러니 진짜 잡무를 겨냥한 벤치마크는 옳은 직감입니다.
OpenAI가 과제를 고른 방식이 가장 강한 부분입니다. 추측하는 대신, 두 개의 큰 시간 사용 연구인 American Time Use Survey와 Multinational Time Use Study에 기댔습니다. 이들은 사람들이 서로 다른 집단, 시간대, 계절에 걸쳐 실제로 하루를 어떻게 보내는지를 목록화한 것입니다. 그다음 사람들이 개인 어시스턴트의 도움을 어디에서 가장 중하게 여기는지 알아보려고, 인구 구성을 대표하는 3,995명 조사를 했습니다. 나온 과제는 돌봄, 건강, 교육, 가사 행정, 개인 재무, 쇼핑, 공공 서비스 이용에 걸쳐 있고, 에이전트는 브라우저, 컴퓨터, 커넥터를 써서 이를 수행합니다.
문제는 OpenAI가 보여 주지 않는 것입니다. 이 글은 90.4%에서 100% 사이의 예시 과제 점수를 몇 개 보여 주지만, 모델을 밝히지 않고, 과제의 총 개수를 주지 않으며, 답을 어떻게 채점하는지도 설명하지 않습니다. 저희는 이것이 개선을 목표로 하는 제품인 ChatGPT를 리뷰하며, 이 높은 숫자는 이미 당신의 심부름을 해낼 수 있다는 주장으로 읽히기 쉽습니다. 그것들은 그 증거가 아닙니다. 점수는 어떤 모델이, 몇 개의 과제에서, 어떤 척도로 얻었는지를 알 때에만 의미가 있는데, 여기서는 그 셋 모두가 빠져 있습니다.
외부 검증도 없습니다. LifeVal은 OpenAI가 지난 한 해 동안 자사 모델을 밀어붙이는 데 써 왔다고 밝힌 내부 평가로, 시험인 만큼이나 조정의 목표이기도 합니다. 같은 회사가 만들고 채점하고 보고하는 벤치마크는 좋게 보이려는 뚜렷한 유인이 있으며, 여기서는 독자가 숫자를 독립적으로 확인할 수단이 전혀 없습니다.
그래도 방향은 평가받을 만합니다. 어시스턴트가 평범한 삶의 서류와 결정을 헤쳐 갈 수 있는지를 재는 것은, 또 하나의 지식 퀴즈보다 이 도구들이 무엇을 위해 팔리는지에 대해 더 정직합니다. 지금으로서 LifeVal은 일이 끝났다는 증거가 아니라 의지의 표명이자, OpenAI가 ChatGPT를 어디로 몰고 가는지에 대한 힌트로 읽는 것이 가장 좋습니다. 기다릴 가치가 있는 숫자는 독립적인 것, 즉 이름이 밝혀진 모델에 대해 과제 집합과 채점 방법이 공개된 것입니다.