카나나 임베딩 수십 배 개선" 보고 프로덕션에 박았다가 뒤통수 맞은 썰 푼다

허깅페이스에 공개된 카나나-2 임베딩 모델, 벤치마크 표 보니까 메모리랑 추론 속도가 수십 배 좋아졌다고 하더라. ㅋㅋ 그래서 우리팀에서 테스트 환경에 살짝 올려봤는데, 엣지케이스에서 토큰화가 완전히 다르게 동작해서 임베딩 벡터가 기존 대비 완전히 다른 방향으로 튀어나옴. 결국 기존 파이프라인에 붙이려면 전처리 단계를 통째로 갈아엎어야 했고, 수십 배 개선은 특정 조건의 벤치마크에서만 그렇다는 걸 3일만에 깨달음 ㄷㄷ 프로덕션에서는 "데모에서는 되겠지"가 가장 무서운 말이다.