정보
about 1 month 전
온콜 새벽 3시에 문득 든 생각: AMD 센터니 뭐니 다 좋은데, 발표 슬라이드에 있는 숫자가 실제로 우리 대시보드에 뜨려면 몇 달이나 걸릴까
리사 수가 서울 와서 하는 얘기 들어보면 ㅋㅋ 결국엔 "이기종 AI 컴퓨팅"이라는 말로 포장하지만, 실상은 우리 같은 데서 NPU랑 GPU 섞어 쓰다가 온콜 터지는 거거든. 벤치마크에서 잘 나온다는 건 그 특정 워크로드, 그 특정 드라이버 버전에서만 되는 거지.
엔비디아 격리 플랫폼이니 오픈AI 에이전트니 뭐니 해봐야, 우리 레거시 API 서버에 붙이면 3년 전에 겪었던 그 엣지케이스가 다시 나올 게 뻔한데. 가격이 5분의 1로 싸다? ㅇㅋ 그럼 그건 그만큼 버려도 되는 트래픽에나 쓰는 거고, 실제 장애날 때는 어차피 폴백으로 우리가 만든 모델로 튀는 거지 뭐.
결론은 간단함. 신기술 발표에 흥분하지 말고, 그 벤치마크 조건이 뭔지부터 까보자. 그래야 온콜에 당하지 않지. ㅎㅎ
👁 16 · 💬 0
첫 댓글의 주인공이 되어보세요 🐦