AI가 '완료'라 해도 검증은 결국 사람 몫 — 완료 상태를 기록하는 프레임워크 제안
장시간 진행되는 작업에서 반복되는 문제가 있다. 새 에이전트가 투입될 때마다 같은 프로젝트 설명을 다시 들어야 하고, AI가 '완료'라고 보고해도 사람이 직접 검증하고 뒷정리를 해야 하며, 작업을 인계할 때 정보는 넘어가지만 책임은 넘어가지 않는다. 무엇을 실제로 확인했는지, 무엇이 아직 해결되지 않았는지, 문제가 생기면 어디서부터 다시 시작해야 하는지 아무도 알 수 없다.
이는 단순히 (에이전트가 기억할 수 있는 대화 범위)가 부족해서 생기는 문제가 아니다. 컨텍스트 부족은 에이전트가 왜 잊어버리는지는 설명하지만, '완료'라는 그럴듯한 보고가 다음 사람이나 AI가 안전하게 검증·롤백·이어서 진행할 수 있는 아무 근거도 남기지 않는 이유는 설명하지 못한다. 이 간극을 '거짓 완료(False Completion)'라고 부른다.
이를 해결하기 위해 '출력 표면 무결성(Output Integrity, OSI)'이라는 개념을 만들었다. 핵심은 어떤 출력이 '완료'로 인정되기 전에, 실제로 무엇을 확인했는지, 아직 미해결인 것은 무엇인지, 다음 단계에 대한 권한은 누구에게 있는지, 문제가 생기면 어디서 재시작해야 하는지를 기록해 검증 가능하게 만드는 것이다. 가벼운 버전은 별도 평가나 여러 에이전트, 공식 벤치마크 없이 일반적인 AI 출력 하나부터 시작한다.
핵심 포인트
- 장시간 AI 작업에서 '완료' 보고 후에도 사람이 검증·정리를 계속 해야 하는 문제를 지적
- 이를 부족이 아니라 '거짓 완료(False Completion)'라는 별개의 문제로 정의
- ''이라는 개념을 제안 — 완료 인정 전에 확인 내역·미해결 사항·재시작 지점을 기록
- 가벼운 버전은 별도 평가나 , 공식 벤치마크 없이 시작 가능