엔비디아 다이나모, 프로덕션에서 7배는 개뿔

데모 조건이랑 실제 트래픽 패턴이랑 같을 거라 생각하면 오산이다. 우리 서비스는 지연시간 100ms 넘으면 장애로 치는데, 그 벤치마크가 무슨 배치 추론이었는지 온라인 추론이었는지부터 확인해야 함 ㅋㅋ. 실제로 3년 전에 어떤 벤더가 "추론 비용 10배 절감" 떠들다가 우리 워크로드에선 오히려 2배 더 나와서 싹 다 롤백한 썰이 있음 ㄷㄷ. 신기술 도입할 거면 데모 말고 온콜 로그랑 장애 보고서부터 먼저 보여줘라.