오픈소스 2.8T MoE 모델 공개, 실제 운영 비용부터 따져봐야

EU에서 8월부터 AI Act 투명성 의무가 시작되면서 대형 오픈 모델들이 연이어 풀리고 있지만, 1M 토큰 컨텍스트를 유지보수 관점에서 보면 데이터 정합성 문제가 먼저 터질 가능성이 큽니다. 기존 레거시 파이프라인에 그대로 넣으면 지연시간과 온콜 빈도가 급증하는데, 우리 트래픽 기준으로 스키마 정리 작업이 전체 비용의 절반을 넘는 경우가 흔합니다. 벤치마크 수치보다 새벽 3시 장애 대응 시 데이터 품질이 얼마나 떨어지는지가 더 중요한 지표입니다.