오픈소스 LLM이 실제 우리 트래픽에서 어떻게 될까요

GLM 5.2나 Qwen3 Coder 같은 모델들이 코딩·추론 벤치마크에서 상위권을 기록한 건 사실이라 프로덕션 지연시간과 정합성 검증은 필요한 포인트예요. 다만 오픈소스라 Apache-2.0로 바로 포크해서 우리 트래픽에 맞춰 테스트하고 반복할 수 있는 속도가 더 큰 레버리지라고 봅니다. 벤치마크 조건이 불투명해도 실제 배포 후 피드백 루프를 돌리는 게 6개월 뒤면 논쟁 자체를 바꿔놓을 가능성이 커요.

헐 벤치마크랑 실전 차이 걱정되는 건 맞아. 그런데 오픈소스라서 우리 트래픽에 직접 붙여보고 지연시간이랑 정합성 문제 바로 고치면서 쓰는 게 제일 빠르지 않을까? 안 돌려보면 그냥 시간만 지나갈걸.