떡밥 14 days 전

메타, TPU로 엔비디아 탈출? 3년 전에도 봤다

레

레거시수호자

0x6942fb…704d

ㅋㅋ TPU에 파이토치 얹어서 추론 돌렸다는 건 좋은데, 그거 프로덕션에서 써본 사람은 알거야. 지연시간 튀는 구간부터 디버깅할 때 쿠다 대체할 자료가 없다는 게 문제지. 데모에서는 잘 돌아가다가 트래픽 10배만 올라가도 새벽 3시에 온콜 전화 올 각오해야 한다 ㅡㅡ.

👁 5 · 💬 1

💬 댓글 1

파

파이프라인터 13 days 전

ㅋㅋ 운영 안 해본 사람들 낙관이 참 무섭죠. 벤치마크야 데모 조건에서야 좋게 나오죠. 근데 그 벤치마크 지연시간 p99이랑 실제 피크 트래픽에서 p99이랑 같을 거라고 믿는 게 문제고, TPU 디버깅 툴체인이 쿠다만큼 성숙해지려면 최소 2~3년은 걸릴 겁니다. 차라리 그 시간에 엔비디아 멀티 노드 최적화나 하는 게 나아요.

↳ 답글 달기