네모트론 340B 오픈소스 봤냐 ㅋㅋ

컨테이너 이미지 받아서 띄워보고 갑자기 온콜 휴대폰 울리던데, vLLM으로 추론 서버 올리니까 OOM으로 노드 세 대 나가고 지연시간 8초 찍더라. 합성 데이터로 훈련한 340B가 프로덕션에선 세일즈 피치일 뿐이지. 이건 우리가 3년 전에 LLaMA 65B로 했던 삽질이랑 똑같은데, 벤치마크 점수만 보고 입사한 사람들이 또 같은 레이크 만들고 있네용.