Pulpie, 웹페이지 정리를 훨씬 싸게 하는 모델 공개
Feyn이 만든 Pulpie는 원본 에서 광고, 바닥글, 옆칸 같은 반복 장식 부분을 걷어내고 본문만 이나 으로 돌려주는 모델 묶음이다. 품질은 현재 선두 추출기인 Dripper와 비슷한 수준을 목표로 하면서, 비용은 약 20분의 1이라고 소개됐다. 10억 개 웹페이지를 정리할 때 Pulpie는 7,900달러가 들고, Dripper는 159,000달러가 든다는 비교가 제시됐다.
비용 차이는 작동 방식에서 온다. 많은 기존 추출기는 방식이라 결과를 한 조각씩 만들고, 매번 전체 모델을 에서 읽는다. Pulpie는 방식이라 입력 전체를 한 번 훑고 각 블록이 본문인지 불필요한 부분인지 표시한다.
그래서 Pulpie는 계산 성능을 주로 쓰고, 방식은 속도에 더 크게 묶인다. 상대적으로 싼 는 속도보다 계산 성능이 넉넉한 편이라 Pulpie를 더 싸게 돌리기 쉽다는 주장이다.
핵심 포인트
- Pulpie는 원본 에서 본문만 남기고 광고, 바닥글, 옆칸 같은 부분을 제거한다.
- 출력은 또는 형식으로 받을 수 있다.
- 10억 개 웹페이지 정리 비용 비교는 Pulpie 7,900달러, Dripper 159,000달러다.
- Pulpie는 방식으로 전체 입력을 한 번 처리하고 블록별로 본문 여부를 표시한다.
- 싼 에서도 비용 효율이 좋다는 점을 핵심 장점으로 내세운다.