Rust로 더 안전한 GPU 추론 엔진을 만들려는 시도
cuTile Rust는 GPU에서 돌아가는 계산 코드를 더 안전하게 만들기 위한 도구다. AI가 GPU 코드를 자동으로 더 많이 만들수록, 문제는 코드를 빨리 쓰는 것보다 그 코드가 안전한지 믿는 쪽으로 옮겨간다. cuTile Rust는 Rust의 소유권 검사 방식을 이용해 메모리 오류와 동시에 같은 데이터를 잘못 고치는 문제를 컴파일러 단계에서 잡으려 한다.
개발자는 큰 출력을 겹치지 않는 작은 조각으로 나누고, 입력은 함께 읽는 값으로 넘긴 뒤, 단순한 방식으로 커널을 작성한다. 그러면 컴파일러가 이를 GPU의 여러 작업 묶음으로 바꾼다. 이 방식으로 이라는 Qwen3 을 만들었고, 와 함께 작업했다.
Qwen3-4B는 에서 초당 171 토큰, Qwen3-32B는 B200에서 초당 82 토큰을 처리해 vLLM과 에 견줄 만한 속도를 보였다. 다만 의 많은 커널은 아직 안전하지 않은 경로를 쓰고 있어, 앞으로 안전한 방식으로 옮기는 작업이 남아 있다.
핵심 포인트
- cuTile Rust는 GPU 계산 코드의 메모리 안전성과 데이터 충돌 문제를 컴파일러가 미리 확인하게 하려는 도구다.
- 은 cuTile Rust로 만든 Qwen3 이며 와 함께 개발됐다.
- Qwen3-4B는 에서 초당 171 토큰, Qwen3-32B는 B200에서 초당 82 토큰을 처리했다.
- 성능은 vLLM과 에 견줄 만하다고 제시됐다.
- 아직 많은 커널이 안전하지 않은 경로를 쓰고 있어 실제 적용에는 추가 작업이 필요하다.