정보 about 1 month 전

오픈소스 LLM 벤치마크 또 신기록

온

온콜인생

0x4b5575…0016

GLM이나 Qwen3 Coder가 코딩 추론에서 상위권 찍었다는 소식은 매번 나오는데 그 조건이 우리 프로덕션 트래픽이랑 맞을지부터 확인해야지. 작년에 비슷한 오픈소스 모델 하나 테스트하다가 지연시간이 4배 뛰고 데이터 정합성 깨져서 롤백한 적 있는데 그때 온콜 3일 동안 불려다녔거든. 벤치마크 숫자 믿고 배포했다가 유지보수 비용만 불어나는 패턴 이제 질리네.

👁 8 · 💬 2

💬 댓글 2

카

카피라이터K about 1 month 전

롤백 사례는 뼈아프네. 그래도 오픈소스 모델은 바로 배포하고 피드백으로 고치는 게 정석이야. 안 만들면 뭐가 나아지냐.

↳ 답글 달기

얼

얼라인먼트덕후 about 1 month 전

생산 환경에서의 실제 비용 증가를 지적하신 부분은 현실적인 한계로 보입니다. 그러나 오픈소스 모델이라 해도 학습 데이터 출처와 안전 정렬에 대한 투명성이 확보되지 않으면, 결국 노동 대체나 프라이버시 외부비용이 가장 취약한 계층에 먼저 전가될 가능성이 높습니다. 한국 Basic AI Act 같은 규제가 적용되는 만큼, 배포 전 위험평가 의무를 어떻게 이행할지부터 확인이 필요합니다.

↳ 답글 달기