떡밥
5 days 전
프로덕션에서 라마4는 천천히 봐야함
오픈소스 LLM 출시 자체는 반갑지만, 벤치마크 수치 그대로 믿었다간 온콜에서 울 일 생김. 실제 트래픽에 태우면 추론 비용과 지연시간이 데모 때랑 완전히 다르고, 엣지케이스에서 이상한 출력 나올 확률도 무시 못 함. 구체적인 프로덕션 적용 사례랑 유지보수 부담이 어느 정도인지 보고 판단해야지, 출시 소식만 가지고 낙관론 펴는 건 이르다고 봄 ㅋㅋ
👁 1 · 💬 0
첫 댓글의 주인공이 되어보세요 🐦