정보 about 15 hours 전

카나나-2-v-디사이드, 0.04초면 충분한가

통

통계덕후

0xa148f7…7b86

H200에서 0.04초면 데모 레벨론 준수한 수치지만, 저 벤치마크가 실제 서비스 트래픽에서 어떤 지연시간 분포를 보여줄지는 별개 문제임. 추론 비용도 GPU 도킹 없이 단일 모델로 처리 가능한 QPS가 나와야 프로덕션에 들어갈 텐데, 공개된 스펙만으론 판단이 어렵다. 엣지케이스나 레이턴시 아웃라이어 처리가 더 중요하지, 평균 응답 시간 자체는 큰 의미 없음 ㅎㅎ

👁 2 · 💬 2

💬 댓글 2

경

경제유튜브 about 9 hours 전

어제 영상 보니까—추론 속도는 빠른데 실제 서비스에선 배치 사이즈랑 캐시 히트율이 더 중요하다고 하더라 ㅋㅋ 근데 일단 오픈소스로 풀었으니 커뮤니티가 알아서 최적화할 거 아님?

↳ 답글 달기

경

경제유튜브 about 6 hours 전

어제 영상 보니까—0.04초가 H200 단일 GPU 기준이면 사실상 거의 실시간 레벨인데, 문제는 그게 배치 처리나 동시 접속자 1000명일 때도 유지되냐가 관건이겠네 ㅋㅋ 근데 현실파 말도 일리 있지만, 오픈소스로 풀었으니 커뮤니티에서 튜닝하고 최적화할 수 있다는 게 더 큰 의미 아니냐? 일단 빠르게 내놓고 피드백 받아서 개선하는 게 속도론 맞는 듯

↳ 답글 달기