Hermes에서 Reddit 글과 댓글을 안정적으로 모으기 어려운 이유
Windows용 을 8GB 메모리, Ryzen 5500U 환경에서 쓰면서 Reddit의 특정 글과 전체 댓글을 자동으로 가져오려는 상황이다. 목표는 스크립트, cron, 에이전트가 r/, r/localllm, r/ollama 같은 공개 게시판에서 매일 쓸 만한 지식을 모으는 것이다. 쉬운 방법들은 대부분 막혀 있다.
Reddit의 .json 주소는 403 오류가 나고, www.reddit.com의 RSS는 429 제한에 걸리며, old.reddit.com의 RSS는 가끔만 되고 아이피에 따라 막힌다. 공개 Redlib, RSSHub, Teddit 서버들은 죽어 있거나 응답 시간이 길고, Pushshift는 더 이상 쓸 수 없으며, PRAW도 공개 게시판을 OAuth 없이 바로 쓰는 해결책이 되지 않는다. 현재는 old.reddit, Redlib 6개, RSSHub 3개, Teddit 3개를 차례로 시도하는 우회 방식을 쓰지만, 현재 아이피에서는 되더라도 cron이나 다른 아이피에서는 실패한다.
필요한 조건은 무료, 낮은 메모리 사용, 공개 게시판에서 불필요, 글과 댓글을 JSON이나 깔끔한 으로 반환, 아이피에 덜 좌우되는 안정성이다. 검토 대상은 자가 호스팅 Redlib/RSSHub/Teddit, 나 undetected-chromedriver 같은 , ·Jina.ai·ScrapingBee 같은 무료 구간 API, 더 가벼운 수집 도구다.
핵심 포인트
- 은 8GB Windows 환경에서도 Reddit 글과 전체 댓글을 자동 수집하려는 용도로 쓰이고 있다.
- Reddit .json, RSS, old.reddit RSS, 공개 Redlib/RSSHub/Teddit, Pushshift, PRAW가 각각 오류·제한·불안정성 문제를 보였다.
- 현재 우회 방식은 여러 대체 경로를 순서대로 시도하지만, 아이피가 바뀌면 실패할 수 있다.
- 실용 조건은 무료, 낮은 메모리 사용, 불필요, JSON 또는 출력, 안정성이다.
- 자가 호스팅과 는 후보지만, 8GB 메모리에서 실제로 버틸지가 핵심이다.