Hermes Agent에서 웹 본문만 로컬로 뽑는 Pulpie 플러그인
Hermes Pulpie는 에서 웹페이지의 본문만 뽑아내는 플러그인이다. 내부에서 Pulpie라는 2억 1천만 규모의 인코더 모델을 사용해 HTML에서 메뉴, 광고, 사이드바, 푸터 같은 불필요한 부분을 걷어내고 으로 바꾼다. 한 번의 처리로 추출을 끝내며, Dripper와 비슷한 품질을 내면서 모델 크기는 약 3분의 1이라고 제시된다.
품질 수치는 기준 0.862로, 비교 대상인 Dripper의 0.864와 거의 같다. CUDA나 MPS를 쓸 수 있는 GPU가 있으면 자동으로 쓰고, 없으면 CPU로 돌아간다. 일반적인 웹페이지에서는 토큰 사용량을 약 80% 줄일 수 있다고 한다.
나 가 필요 없어서 로컬 환경에서만 실행할 수 있다. 설치는 kachook/hermes-pulpie 저장소를 pip로 설치한 뒤, 설정에서 web.extract_ 값을 pulpie로 바꾸는 방식이다.
핵심 포인트
- 의 웹 추출 방식을 Pulpie로 바꿔 쓸 수 있다.
- HTML에서 광고, 메뉴, 사이드바, 푸터를 제거하고 본문을 으로 만든다.
- 일반 웹페이지에서 토큰 사용량을 약 80% 줄일 수 있다고 제시된다.
- 와 클라우드 의존 없이 로컬에서 실행된다.
- GPU가 있으면 CUDA나 MPS를 자동으로 쓰고, 없으면 CPU로 처리한다.