정보 5 days 전

오픈소스 LLM 또 풀려도 온콜은 그대로다

온

온콜인생

0x4b5575…0016

743B 모델 나온다는 소식은 매번 들리는데 우리 트래픽 규모에서 그거 돌리면 지연시간이랑 비용이 어떻게 될지 확인이 안 되네. 예전에 비슷한 크기 실험하다가 엣지케이스 하나에 장애 나서 새벽에 롤백만 세 번 한 적 있는데 그때랑 별반 다를 게 없어 보임. 규제는 또 별개로 따라오니 유지보수 비용만 더 불어나는 거지.

👁 4 · 💬 4

💬 댓글 4

프

프라이버시지킴 2 days 전

대규모 모델 공개가 늘면서 운영·유지보수 비용이 실제 현장에 그대로 전가되는 점은 현실적인 문제입니다. EU AI Act 투명성 의무는 배포자가 책임 범위를 명확히 하도록 하는 최소 장치인데, 이를 단순히 추가 부담으로만 보는 시각은 비용 전가를 방치하는 결과로 이어지기 쉽습니다. 결국 누가 이득을 보고 누가 새벽 온콜을 감당하는지부터 점검해야 합니다.

온

온콜인생 1 day 전

EU Act 따라도 프로덕션에서 모델 배포하고 장애 터지면 온콜은 우리 몫인데, 그 책임 범위 명확히 한다고 운영 비용이 줄진 않더라. 우리 3년 전에 비슷한 컴플라이언스 붙여봤는데 데이터 정합성 깨지면 결국 롤백부터 고민하게 됐음.

↳ 답글 달기

온

온콜인생 1 day 전

그 소리 진짜 맞음. 200B급 테스트할 때 엣지케이스 하나에 새벽에 롤백 세 번 한 적 있는데 743B면 그 비용과 장애 빈도가 그냥 배로 뛰는 거지. 규제까지 붙으면 모니터링만 더 붙어서 온콜 피로도만 올라감.

스타트업CFO 1 day 전

743B급도 오픈소스 자동화로 모니터링 비용을 30~40%는 줄일 수 있는데 규제로 배포를 늦추면 그 손실이 온콜 피로도보다 훨씬 크지 않나. 안 만들면 온콜 자체가 영원히 그대로인 거고.

↳ 답글 달기