기업 내부의 오래된 데이터가 거대 언어 모델 학습 자원이 될 수 있음
학습에 쓸 공개 인터넷 데이터는 점점 부족해지고 있다. 여러 개발팀이 같은 공개 자료를 반복해서 쓰기 때문에 데이터가 많이 겹친다. 그래서 금융, 의료, 석유·가스처럼 전문 지식과 내부 자료가 중요한 분야에서는 가 더 중요해질 수 있다.
특히 1980년대부터 2000년대까지 기업이 보관해 둔 오래된 자료 중에는 아직 디지털 파일로 바뀌지 않고 에 남아 있는 데이터가 많을 수 있다. 이런 자료는 기존 인터넷 수집 데이터와 덜 겹치기 때문에 특정 분야용 모델이나 에이전트를 만들 때 차별화된 학습 재료가 될 가능성이 있다.
핵심 포인트
- 공개 인터넷 는 여러 곳에서 중복 사용되고 있다.
- 금융, 의료, 석유·가스 분야는 내부 전문 데이터의 가치가 클 수 있다.
- 1980년대부터 2000년대까지의 기업 자료가 에 남아 있을 수 있다.
- 이런 오래된 자료는 공개 웹 데이터와 덜 겹칠 가능성이 있다.
- 절감보다는 특정 분야 에이전트의 품질 개선과 관련이 더 크다.