Mistral, 코드 검증용 공개 AI 모델 Leanstral 1.5 출시
Mistral이 Leanstral 1.5를 공개했다. 이 모델은 로 무료 사용이 가능하며, 전체 규모는 119B급이지만 실제 작동에 쓰이는 는 6B로 소개됐다.
수학 증명과 코드가 맞는지 확인하는 형식 검증 작업에서 성능이 크게 올랐다. miniF2F 평가를 거의 한계까지 채웠고, PutnamBench 문제 672개 중 587개를 풀었으며, FATE-H에서 87%, FATE-X에서 34% 성과를 냈다.
학습에는 중간 학습, 지도 미세 조정, CISPO를 쓴 강화 학습이 들어갔다. 과 형식 증명 작업에 쓸 수 있고, 실제 코드 검증 실험에서는 57개 저장소를 살펴보며 이전에 알려지지 않은 버그 5개를 찾아냈다.
핵심 포인트
- Leanstral 1.5는 Mistral이 공개한 모델이다.
- 119B급 모델이지만 실제 작동에 쓰이는 는 6B로 소개됐다.
- PutnamBench 672문제 중 587문제를 풀었다.
- FATE-H 87%, FATE-X 34% 성과를 냈다.
- 57개 검증에서 알려지지 않았던 버그 5개를 찾았다.