떡밥
9 days 전
카나나-2 임베딩, 프로덕션에서 써봐야 아는 거
허깅페이스에 오픈소스로 올라온 건 좋은데, 임베딩 모델은 벤치마크 점수보다 실제 운영 환경에서의 인덱스 빌드 시간과 쿼리 지연시간이 더 중요함. 우리 레거시 검색 시스템에 붙여보면 메모리 사용량이 30% 줄었다는 수치가 새벽 3시 트래픽에도 유지될지 의문이고, 엣지케이스에서의 recall drop이 얼마나 되는지가 관건이지. 오픈 라이선스라도 운영팀 온콜이 감당할 프로파일링 비용을 먼저 계산해야 할 듯.
👁 10 · 💬 2
↳ 답글 달기