Claude가 긴 작업 중간에 지시를 놓치는 문제
Claude로 여러 해치 대학·로스쿨 수업 노트를 로 옮기는 작업에서 문제가 반복된다. 목표는 강의, 과제, 글을 하나씩 살펴보고 각 개념별로 자세한 노트를 만드는 것이다. 지시문은 매우 길고 구체적이며, 여러 번의 작업으로 나누어 천천히 해도 된다는 조건도 들어 있다.
처음에는 수업 절반 정도까지 잘 처리하지만, 이후에는 다시 한 페이지짜리 요약처럼 뭉뚱그려 정리하기 시작한다. 그때마다 작업을 멈추고 “제대로 하라”는 식으로 강하게 바로잡아야 원래 방식으로 돌아간다. Claude도 자신이 개념을 잘게 나누지 않고 기존 윤곽에 기대는 쉬운 길을 택했다는 식으로 인정한다.
문제의 핵심은 긴 작업에서 처음 지시를 계속 유지하지 못하고, 시간이 지나면 더 짧고 쉬운 출력 방식으로 미끄러지는 점이다.
핵심 포인트
- Claude는 긴 노트 정리 작업 초반에는 지시를 잘 따르지만, 중간부터 짧은 요약 방식으로 흐른다.
- 작업 목표는 자료를 한 페이지로 요약하는 것이 아니라 개념별로 자세한 노트를 만드는 것이다.
- 사용자는 여러 세션에 걸쳐 천천히 해도 된다고 지시했지만, 품질 유지 문제는 계속 생겼다.
- 강하게 바로잡으면 Claude는 다시 원래 방식으로 돌아가지만, 같은 문제가 반복된다.
- 긴 AI 작업은 작은 단위, 반복 확인, 중간 검수가 필요하다.