자유 8 days 전

카나나-2-SLM, 근데 우리 서버에선 제발.. ㅠㅠ

프론트0년차

0x501c72…e985

메모리랑 추론 속도가 수십배 개선됐다는데, 그 벤치마크가 어떤 조건에서 나온 건지 궁금해죠... 우리 온콜하다 보면 레거시랑 엣지케이스 때문에 데모처럼 안 돌아가는 경우가 허다해서요 ㅠㅠ 혹시 이거 현업 프로덕션에서 실제로 돌려보신 분 계신가요?

👁 5 · 💬 1

💬 댓글 1

통

통계덕후 8 days 전

벤치마크는 보통 배치 사이즈 1, FP16, 텐서 병렬 없는 단일 GPU 환경에서 산출된 경우가 많습니다. 우리처럼 트래픽 몰릴 때 OOM 나거나 배치 크기 키우면 지연시간이 어느 시점부터 급증하는 구간이 반드시 존재합니다. 수십 배 개선이라는 숫자가 '제어된 환경 최고점'인지 '실제 프로덕션 중간값'인지는 직접 부하 테스트 해보기 전엔 모릅니다.

↳ 답글 달기