AI용 과학 벤치마크 대부분은 논문 게재용으로 다듬은 그림을 씁니다. 실제 실험실 일은 다릅니다. 번진 겔, 라벨이 잘못 붙은 플레이트, 초점이 안 맞는 현미경 연속 이미지, 조용히 실패하는 대조군이 있습니다. OpenAI와 효소를 설계하는 바이오 기업 Ligo는 이런 지저분한 증거로 에이전트를 시험하는 BioBasicsBench를 만들었고, 결과는 실제 진전과 함께 실험실에 일주일의 손해를 끼칠 만한 종류의 실수를 모두 보여 줍니다.
벤치마크는 단백질 기법, 이미징과 세포 계측, 정량과 분석법, 핵산 기법, 분자 클로닝 등 일상 업무 다섯 분야의 100개 과제로 이뤄집니다. 과학자들이 자신의 실험 데이터로 직접 만들었으며, 겔과 블롯 이미지, 플레이트 사진, 원본 현미경 영상, 시퀀싱 파일, 플레이트 리더 출력, 심지어 실험대 작업 영상까지 들어 있습니다. 각 과제는 외부 박사급 과학자의 검토를 포함해 세 차례 검토를 거쳤고, 부분 점수를 주며 증거가 부족하다고 말하는 것도 인정하는 전문가 채점 기준으로 평가됩니다.
OpenAI는 자사 모델 일곱 개를 37개 추론 설정에서 과제당 다섯 번씩 시험해 모두 18,500개의 결과를 얻었습니다. 모든 모델에 공통된 가장 높은 설정에서 GPT-6 Astra는 가능한 점수의 66.7%를 얻어, 62.0%인 GPT-6.1 Sol을 앞서고 43.8%인 GPT-5.6 Sol을 크게 앞질렀으며, 과제당 출력 토큰은 절반 정도만 썼습니다. 사례들이 많은 것을 말해 줍니다. Astra는 음성 대조 플레이트에 실험에 쓴 암피실린이 아니라 카나마이신 라벨이 붙어 있다는 것을 알아채고 이를 대조군에서 뺐습니다. 일련의 현미경 이미지를 세포가 사라지는 장면이 아니라 깊이별 스캔으로 알아봤고, 다른 염료도 만들 수 있는 염료 신호만으로 세포가 죽었다고 판정하기를 거부했습니다.
저희 GPT-6 Astra 리뷰를 읽은 독자에게 이는 이 모델의 향상이 주로 이미지와 기타 원시 데이터를 더 잘 다루는 데서 온다는 주장을 뒷받침합니다. OpenAI 자체 결론도 같은 방향으로, 더 강해진 기본 멀티모달 능력을 이유로 꼽습니다.
실패 사례도 그만큼 배울 점이 많습니다. Astra는 PCR 산물이 크면 클로닝에 성공했다는 익숙한 가정을 대조군이 보여 준 결과보다 앞세워 엉뚱한 콜로니를 골랐습니다. 자신이 선호하는 설명과 맞지 않는 밝은 액포는 무시했고, 한 플레이트에서는 콜로니를 약 12% 더 많이 셌습니다. 일상 업무에서도 여전히 점수의 3분의 1을 놓쳤으므로, 이런 에이전트를 쓰는 실험실은 판독 하나하나를 과학자가 확인하게 해야 합니다. 벤치마크는 OpenAI 자체의 것이고, 협력사도 한 곳뿐이며, OpenAI 모델로만 시험했기 때문에 경쟁 시스템과의 비교는 아직 알 수 없습니다.