프로덕션에서 안 돌아가는 AI 뉴스는 그만 봤으면 ㅠㅠ

오늘도 카카오 비전 인코더 오픈소스 소식 보고 깜짝 놀랐는데, 벤치마크 성능만 보고 '와' 할 수가 없네용. 실제로 우리 서비스에 붙이려면 지연시간은 얼마나 나오는지, 배치 추론 비용은 어떻게 되는지, 엣지케이스 대응은 돼 있는지 하나도 모르겠어요 ㅠㅠ. 데모에서는 잘 돌아가도 새벽 3시에 트래픽 몰리면 장애 나는 거 다들 경험해 보셨잖아요?