SKT가 통신 서비스에 특화된 '텔코 LLM'을 6월 출시한다. 텔코 LLM은 범용 LLM에 한국어 통신 관련 데이터를 학습시켜 개발한 AI 모델로, 이를 통해 통신사들은 각 서비스 및 기술에 최적화된 AI 모델을 적용해 통신 전문성과 비용 효율성을 확보할 수 있을 것으로 기대된다.
 
SKT가 30일 SKT타워 수펙스홀에서 기자간담회를 열어 오픈 AI, 앤트로픽 등 범용 모델을 기반으로 만든 텔코 LLM을 소개했다. SKT는 8개월의 개발 기간을 거쳐 텔코 LLM을 만들었으며, 이르면 오는 6월 중 국내향 버전을 선보인다. 이후 글로벌 버전 출시에도 집중할 계획이다.
 
통신 특화 LLM의 장점은 성능 향상과 속도 및 비용 효율성의 확보다. SKT 정민영 AI 플랫폼 담당은 “범용 LLM 대비 텔코 LLM은 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있어 활용성이 높고, 통신 분야 작업 수행 능력과 서비스 적용 시 정량적 지표를 측정할 수 있을 것"이라고 소개했다.
 
텔코 LLM은 SKT의 ‘멀티 LLM’ 전략의 일환이다. 통신사들은 AICC, 네트워크 운용, 유통망, 마케팅, 사내 업무 등 특정 업무마다 텔코 LLM을 활용할 수 있다는 설명이다. 에릭 데이비스 SKT AI Tech Collaboration 담당은 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것”이며, “통신 데이터와 도메인 노하우에 맞춰 다양한 텔코 LLM을 만들고, 이를 상황에 맞게 골라 쓸 수 있도록 했다”고 설명했다.
 
■ 범용 LLM + 통신 데이터 학습 = 텔코 LLM

SKT는 자사의 A.X(에이닷엑스)와 오픈 AI의 GPT-4, 앤트로픽의 클로드 등 범용 모델을 기반으로 글로벌 범용 파운데이션 모델에 통신사의 서비스, 상품, 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집, 정형·비정형 데이터를 선별해 학습시켜 텔코 LLM을 구축했다.
 
지난 5일 오픈 AI는 기업의 특정 도메인에 맞게 AI 모델을 학습시키고 최적화할 수 있도록 지원하는 맞춤형 모델을 공개하며 SKT와 협력을 밝힌 바 있다. 정민영 SKT AI플랫폼 담당도 “GPT-3.5에 비해 GPT-4는 환각 현상이 확연히 줄어 응답 정확성이 향상됐다”고 평가했다.
 
텔코 LLM 구축을 위해서는 △비정형·정형 데이터 선별 및 정제 △이를 기반으로 범용 LLM를 통신사 전용으로 파인튜닝(미세조정) △휴먼 피드백 기반의 강화 학습(RLHF) △최종 벤치마킹(모델 평가)의 과정을 거친다. 에릭 SKT 담당자는 “모델은 지속적으로 파인튜닝 과정을 통해 계속 고도화하고, 1달을 주기로 지속적으로 업데이트 한다”고 말했다.
 
텔코 LLM은 고객센터에서 상담사를 지원하는 AI 에이전트로의 활약이 기대된다. 고객센터에 텔코 LLM을 도입하면 상담사의 업무를 도와 상담 처리 소요시간을 단축시켜줄 수 있을 것으로 기대된다. 텔코 LLM는 상담원 대신 고객과의 통화 중 고객 의도 파악, 상담 주제 등을 파악하고, 상담원들이 내부 정보 검색(RAG) 기반으로 지속 업데이트 되는 새로운 정보를 조회하고, 마케팅 지식 검색(MRC)을 가능하도록 돕는다. 또한 상담 후에도 상담 요약을 해준다.
 
또한 텔코 LLM은 통신사의 네트워크 인프라 운용에도 유용하다. 운용자는 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코 LLM에 자연어로 질문해 해결 방안을 받고, 장비 매뉴얼, 대응 사례 등 정보를 기반으로 상황에 맞는 답변을 제공받을 수 있다. SKT는 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반 정보 조회 등에도 텔코 LLM을 확대 적용할 계획이다.
 
■ 생성형 AI 앱 구축 돕는 ‘인텔리전스 플랫폼’
 
SKT는 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 ‘인텔리전스 플랫폼’도 공개했다. 이는 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등을 포함하는 ‘기업용 AI 개발·운용 풀스택 패키지’다.
 
SKT의 인텔리전스 플랫폼은 단일 LLM이 아닌 멀티 LLM을 쉽게 사용하도록 한다. SKT는 현재 A.(에이닷) 등의 서비스 등에 적용 중이다. 인텔리전스 플랫폼은 고객센터 콜봇, 챗봇, 유통 채널 어시스턴트, 인프라 어시스턴트, 사내 업무 등에서 자동화를 지원할 수 있을 것으로 전망된다.
 
정민영 SKT AI플랫폼 담당은 “국내 및 글로벌 통신사들과, 고객센터, 인프라뿐만 아니라 마케팅·유통망 등 법무, HR 등 사내 업무까지 유사한 업무특성을 가진 기업들이 텔코 LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것으로 기대한다. 지속적으로 텔코LLM을 활용한 활용처를 늘려갈 계획”이라고 설명했다.