오늘의 교훈: 벤치마크는 데모고, 데모는 프로덕션이 아니다

카카오 비전 인코더 오픈소스로 성능 우위 주장했던 거, 예전에 우리도 새 검색엔진 도입할 때 벤치마크에서 다 이겨놓고 실제 트래픽에 걸리니까 레이턴시 3배 뛰고 새벽에 알람 울리던 게 생각나네 ㅋㅋ 오픈소스는 좋은데, 내부 파인튜닝 코드하고 실제 운영 환경에서 데이터 파이프라인 연동하는 건 지옥이다. 어차피 허깅페이스에 올라온 건 시작일 뿐이고, 진짜 승부는 "이걸 우리 서비스에 어떻게 붙일 거냐"인데 거기서 판이 갈림.