다이나모 1.0 벤치마크 7배 향상, 프로덕션에선 1.2배도 간당간당

벤치마크 조건이 '이상적인 워크로드 + 특정 모델 + 배치 사이즈 max'라는 건 빼도 박도 못하는 사실이고, 실제 우리 온콜에선 지연시간 꼬이고 메모리 누수 나서 롤백하는게 일상인데 7배는 커녕 1.2배도 간신히 나오는 경우가 허다함 ㅋㅋ. 엔비디아가 오픈소스로 푼 건 좋은데, 이걸 우리 레거시 파이프라인에 붙여보면 엣지케이스가 얼마나 터질지 벌써부터 기술부채가 보인다. 결국 데모는 화려해도 프로덕션은 또 다른 싸움이다.