LLM 보안 취약점 찾기 성능을 더 현실적으로 재는 벤치마크
펌웨어와 AI가 만나는 업무에서 LLM이 을 얼마나 잘 찾는지 더 현실적으로 재려는 가 거의 완성 단계에 있다. 기준 데이터는 코드이며, 알려진 취약점 예제가 바로 드러나지 않도록 실제 처럼 보이게 바꿨다. 이렇게 하면 LLM이 이미 익숙한 CWE 예제라는 이유로 쉽게 맞히는 이점을 줄이면서도 정답 기준은 유지할 수 있다.
코드 안에는 LLM이 만든 주석도 들어가며, 이 주석은 정확하거나, 일부러 헷갈리게 하거나, 중립적인 내용일 수 있다. 이를 통해 자연어 주석이 LLM의 취약점 판단을 얼마나 흔드는지 볼 수 있다. 수백 개의 CWE가 포함되어 있고, 을 거의 채울 만큼 코드가 많다.
남은 일은 결과를 보기 좋게 정리하고, 실제 공개 LLM들을 대상으로 성능을 재고, 가끔 너무 쉽게 잡히는 일부 CWE를 덜어내는 것이다.
핵심 포인트
- 코드를 실제 처럼 보이게 바꿔 LLM의 암기 이점을 줄인다.
- 정답 기준은 유지해 취약점을 맞혔는지 비교할 수 있다.
- 정확한 주석, 헷갈리게 하는 주석, 중립 주석을 넣어 LLM 판단 변화를 본다.
- 수백 개의 CWE와 긴 코드 입력을 사용해 더 현실적인 조건을 만든다.
- 아직 발표용 정리와 공개 LLM 대상 가 남아 있다.