AI가 답하기 전 내부 상태를 보고 바꾸는 웹 도구

무료 웹 도구가 대규모 언어 모델이 답을 내기 직전 중간 계층에서 어떤 단어 후보를 강하게 떠올리는지 보여준다. Anthropic 논문 「Verbalizable Representations Form a Global Workspace in Language Models」에 나온 Jacobian Lens 방식에서 출발했고, 공개 모델에서도 비슷하게 작동하도록 만든 실험이다.

예를 들어 “휘어진 물줄기 세 개”를 상징으로 묘사해 달라고 하면, 모델이 최종적으로 “파도”에 가까운 답을 내기 전에 더 깊은 층에서 “바다”, “해양”, “물결” 같은 단어가 강해지는 모습을 볼 수 있다. 내부 상태도 직접 바꿀 수 있다.

바다 관련 질문의 중간 계층에 “불”을 넣으면 답이 열과 관련된 쪽으로 바뀐다. 목표는 모델이 단어 하나를 확정하기 전의 흐름을 눈으로 확인하고, 그 흐름을 건드렸을 때 결과가 어떻게 달라지는지 시험해 보는 것이다.