Codex로 회사 채용공고 710만 건을 모은 개인 제작 사례
개인 제작 사례로, 를 이용해 회사 이름 목록에서 각 회사의 채용 페이지를 찾고 채용공고를 모았다. 이나 Indeed에는 실제 채용 의사가 약한 공고와 외부 대행사 공고가 많아 직접 회사 웹사이트를 대상으로 삼았다.
회사마다 채용 페이지 모양이 달라 예전에는 대규모 수집이 어려웠지만, 가 페이지를 찾아 구조에 맞게 처리하는 데 쓰였다. 이후 로 급여, 필요한 경력 연수 같은 정보를 JSON 형식으로 정리했다.
이 방식으로 710만 건의 채용공고를 모았고, 그중 원격 근무 공고는 22만 건이 넘었다. 결과물은 Hiring.Cafe라는 공개 서비스로 만들어졌고, 직무명, 직무 분야, 제외 조건, 산업군, 개별 기여자와 관리자 역할, 경력 연수 기준으로 필터를 걸 수 있다.
핵심 포인트
- 로 회사 이름 목록에서 각 회사의 채용 페이지를 찾고 공고를 수집했다.
- 가 급여와 경력 연수 같은 항목을 JSON 형식으로 정리했다.
- 수집 규모는 채용공고 710만 건이며, 원격 근무 공고는 22만 건 이상이다.
- Hiring.Cafe에서 직무, 산업군, 역할 유형, 경력 조건으로 공고를 필터링할 수 있다.
- 가 1인 제작자의 대규모 데이터 수집과 서비스 제작에 직접 쓰인 사례다.