OpenAI, 생명과학용 AI 평가 기준 LifeSciBench 공개
OpenAI가 생명과학 연구에서 AI가 실제로 얼마나 쓸모 있는지 재는 평가 기준인 를 공개했다. 이 평가는 단순한 지식 맞히기가 아니라, 논문·표·그림·데이터 파일을 보고 근거를 정리하고, 실험을 판단하고, 다음 결정을 제안하는 능력을 본다. 에는 전문가가 만든 과제 750개가 있고, 생명과학자 173명이 제작에 참여했으며, 검토자는 453명이다.
과제의 79%는 여러 단계의 판단이 필요하고, 53%는 첨부 자료를 읽고 종합해야 한다. OpenAI는 가 보다 나아져 전체 통과율이 25.7%에서 36.1%로 올랐다고 밝혔다. 다만 자료 파일을 많이 다루거나, 정확한 숫자·염기서열·구조 같은 답을 내야 하는 과제에서는 여전히 약했다.
OpenAI는 이 평가가 실제 연구 현장의 장기 성과를 바로 증명하는 것은 아니며, 앞으로 실제 연구 환경에서 더 검증해야 한다고 봤다.
핵심 포인트
- 는 생명과학 연구용 기준이다.
- 과제 750개, 제작 참여 과학자 173명, 독립 검토자 453명으로 구성됐다.
- 과제의 79%는 여러 단계 판단이 필요하고, 53%는 첨부 자료 해석이 필요하다.
- 의 전체 통과율은 36.1%로 의 25.7%보다 높았다.
- 복잡한 자료 파일, 설계 작업, 정확한 숫자나 구조 답변에서는 아직 약점이 남아 있다.