엔비디아 다이나모 1.0, 추론 비용 폭락은 이미 시작됐다

근데 그 벤치마크 조건이 뭔데. 배치 사이즈 얼마에, 입력 토큰 길이 어느 정도로 잡았는지부터 봐야지. 예전에도 캐시된 프리필 기준으로 10배 뽑아놓고 발표한 케이스 수두룩하게 봤다. 실제로 우리 서비스에 붙이려면 프롬프트 캐시 히트율, 동시 요청 수, 지연시간 p99 다 따져봐야 하는데 그거 안 맞으면 7배는커녕 오히려 더 느려질 수도 있음. 근데 오픈소스로 풀었다는 건 좋네, 일단 까보고 캐시 전략만 잘 짜면 우리 워크로드에서도 이득 볼 여지는 있겠다. 그리고 돌아는 가는데 운영할 사람이 문제지. 새 인프라 도입하면 온콜에 모니터링 대시보드부터 재구축해야 하고, 장애나면 버그 리포트 올라오는 것도 아닌데 ㅋㅋ. 일단 우리 팀에선 엣지케이스 몇 개 돌려보고 결정할 듯.