개념이 모델 안에서 처리되는 경로를 찾으려는 실험
안에서 하나의 개념이 어떤 계산 흐름으로 처리되는지 찾으려는 실험이다. 목표는 특정 뉴런 하나, 한 층의 , 한 번의 벡터 비교가 아니라 여러 층에 반복해서 나타나는 를 찾는 것이다.
예를 들어 인도, 프랑스, 일본, 독일 같은 나라에 대해 수도, 화폐, 동물, 인구, 언어 같은 질문을 반복해서 던지고, 그때 모델 내부 반응을 비교한다. 실험 과정은 잔차 흐름, 어텐션, 반응을 잡고, 뉴런별 선택성을 측정하며, 여러 층에 걸친 활성 기반 그래프를 만든다.
그런 뒤 수백 개의 대조 질문을 합쳐 개념별 공통 를 만들고, 서로 다른 대상 사이에서 그래프가 얼마나 겹치는지 비교한다. 초기 관찰은 의미 있는 단위가 단일 뉴런이나 단일 활성 벡터가 아니라 여러 뉴런과 층에 넓게 퍼진 계산 흐름이라는 점이다.
핵심 포인트
- 목표는 모델 안에서 개념을 처리하는 반복 를 찾는 것이다.
- 나라별 질문을 여러 방식으로 던져 모델 내부 반응을 비교한다.
- 잔차 흐름, 어텐션, 반응을 함께 분석한다.
- 초기 관찰은 개념 처리가 하나의 뉴런이 아니라 여러 뉴런과 층에 분산된다는 것이다.
- 현재는 절감으로 바로 이어지는 방법은 아니다.