ECS텔레콤, 콜봇용 sLLM 평가 프레임워크 연구 발표

ECS텔레콤 제공AICC(AI 컨택센터) 전문기업 ECS텔레콤이 자사 AI 연구를 담당하는 류기동 박사가 지난 5월 28일 열린 한국지능정보시스템학회 춘계학술대회에서 '콜센터 콜봇에 적합한 sLLM 평가 프레임워크 및 평가셋 설계'를 주제로 논문을 발표했다고 10일 밝혔다.이번 연구는 콜센터 콜봇 환경에 적합한 소형 LLM(sLLM)의 품질을 체계적으로 검증하기 위한 프레임워크와 평가셋 설계 방법을 제안한 것이다. ECS텔레콤은 연구와 관련된 핵심 기술에 대한 특허 출원을 완료했으며, 향후 평가 프레임워크와 실증 데이터를 단계적으로 공개할 계획이라고 전했다.최근 대다수 기업은 ChatGPT, Gemini 같은 상용 LLM이나 다양한 중소형 언어모델(1B~35B 규모)의 도입을 두고 의사결정에 어려움을 겪고 있다. 특히 콜봇은 일반적인 문장 생성 능력 외에도 음성 대화 흐름, 지식 기반 응답 정확성, 부적절 응답 거부, 상담 시나리오 적합성, 지연시간 등 운영 환경에 특화된 품질 검증이 필요하다.류기동 박사는 “MMLU, GSM8K 등 기존 범용 벤치마크 점수만으로는 콜봇용 모델의 실제 서비스 품질을 충분히 예측하기 어렵다”며 “이번 연구는 NIST AI RMF, OWASP, RAGAS 등 9개 핵심 문헌에서 도출한 63개 품질 항목과 VUI(Voice User Interface) 특성을 콜봇 도메인에 맞춰 6개 평가 영역으로 재구성했다”고 설명했다. 연구에서는 필수 품질 기준을 검증하는 '게이팅(Gating)'과 모델 간 비교를 위한 '스코어카드(Scorecard)'를 분리한 이중 평가 체계를 제안했다. 이를 통해 기업이 콜봇 도입 전 후보 모델의 활용 가능성을 검토하고, 운영 목적에 맞는 모델을 비교·평가할 수 있도록 했다.ECS텔레콤은 이번 평가 체계를 자사 AICC 플랫폼의 모델 검증, 도입, 운영 사이클에 적용하고 고객사의 콜봇 도입 컨설팅과 품질 관리에 활용할 계획이다. 또한 후속 연구를 통해 ‘파인튜닝 용이도(Fine-tuning Readiness)’ 부지표를 추가하고, 콜봇 맞춤형 sLLM 개발 및 개선 과정의 품질 점검 도구로 확장할 계획이다.ECS텔레콤은 1999년 설립된 컨택센터 및 통합 커뮤니케이션 전문기업으로, 금융·공공·통신·이커머스 등 다양한 산업 분야의 컨택센터 구축과 운영을 지원해 왔다. 최근에는 자체 AICC 플랫폼을 기반으로 콜봇, 챗봇, 상담 지원, 지식 관리 등 생성형 AI 기반 컨택센터 솔루션을 제공하고 있다.