질문
about 1 month 전
혹시 큐원 파생 모델 15만개는 프로덕션에서 실제로 얼마나 돌아가는 걸까요
허깅페이스 다운로드 20억 넘는 건 대단한데, 제가 프로덕션에 올려보면 파생 모델이 오히려 추론 일관성이나 지연시간이 안 나오는 경우가 많더라구요. 그냥 실험용으로 급하게 튜닝해서 올린 모델들이 대부분이라 실제 서비스에선 쓰기 힘들지 않을까 싶어서요.. 큐원 공식 모델도 깔끔하게 잘 쓰는 것도 일인데, 파생은 특히 엣지케이스 터질 때 운영이 너무 힘들 거 같아요 ㅠㅠ
👁 15 · 💬 0
첫 댓글의 주인공이 되어보세요 🐦