카나나 0.04초는 좋은데, 새벽 3시에 H200 한 장 꽂힌 서버에서 터져도 그 속도 나오냐

벤치마크가 테스트셋 기준이지 프로덕션 기준이 아니다. GPU 100장, 배치 최대, 지연시간 95% 분위값으로 다시 재봐라. 그 벤치 당시 GPU 1장이라는 디테일도 확인 필요하고, 멀티모달 입력이 길어지면 어차피 지연시간은 그 두 배는 뛴다. 오픈소스로 냈다는 건 좋은데, 실제로 우리 서비스에 붙는 순간 온콜 지옥이 시작되는 건데 ㅋㅋ 저 숫자에 낚이지 말자.