자고 일어나면 새로운 AI가 등장하는 시대가 도래했다. 챗GPT 이후 촉발된 생성형 AI 시장의 올해 주요 키워드로 생태계 확장과 수익화로 꼽히는 가운데, 생성형 AI가 기업의 생산성 향상의 도구임이 입증되고 있다.
 
21일 한국기술센터에서 한국정보산업연합외 CRM·BI협의회에서 개최한 ‘Gen AI 춘추전국시대, LLM(거대언어모델) 시장 전망과 기업의 도입 전략’ 세미나에서 래블업 김종민 DA와 올거나이즈 유태하 팀장이 LLM 시장 동향과 기업 도입 방안에 대해 발표했다.
 
생성형 AI는 기존의 세분화, 해석 등 분류를 하는 것이 아닌 특정 결과물을 생성하는 모델로, LLM(거대언어모델)은 그 규모가 점점 커져 현재 파라미터 수가 5년 전보다 약 1만 6천배 정도 커진 수준에 이르렀다. 이러한 성능 향상과 더불어 모델의 개수도 증가했다. 2023년 여름에만 1만여개의 새로운 모델이 생겨났다.
 
래블업 김종민 DA는 최근 주요 AI 트렌드에 대해 설명했다. 올해 화두는 LLM과 여러 이미지를 섞어 다양한 어플리케이션에 적용되고 있는 △멀티 모달(Multimodal models) △AI로 훈련한 AI 모델 △모델 경량화 △온디바이스 AI △책임감 있는 AI(Responsible AI)를 들 수 있다.
 
■ MS, 코파일럿 업데이트…애저 AI에 GPT 4o 탑재

AI 모델, GPU 하드웨어, NPU 등 모든 AI 분야는 AI 격전지로 떠올랐다. 구글, 애플, 메타 등 글로벌 빅테크와 LG, 네이버, 카카오 등 수많은 AI 기업의 경쟁은 더욱 심화되고 있다. 최근 구글은 자사 AI ‘제미나이(Gemini)’를 사업 전반에 적용하기 시작했다고 발표했다.
 
이에 마이크로소프트(MS)는 맞불을 놓았다. 21일(현지시간) MS는 연례 개발자 회의 빌드를 개최했다. 오픈AI의 AI모델 GPT를 기반으로 개발한 AI 서비스 ‘코파일럿’의 업데이트 내용을 공개하고, 최신 AI 모델 'GPT-4o'(포오)를 클라우드 서비스 애저 AI에 탑재한다고 밝혔다.
 
오픈AI가 지난 13일 공개한 최신 AI 모델 GPT-4o는 MS의 ‘애저 AI 스튜디오’와 API로 사용이 가능하다. GPT-4o는 음성 인식, 스피치-투-텍스트(Speech to text), 이미지 인식 기능 등이 통합돼 대화형 인터페이스 형태로 자연스러운 실시간 상호작용이 가능한 멀티모달(Multimodal) AI 모델이다. 이는 더 빨라진 속도, 향상된 이해 성능 등을 특징으로 한다.
 
MS는 핵심 서비스로 AI 비서 기능을 선보였다. 이를 통해 MS의 모든 제품에 탑재된 코파일럿을 이용하면 별도의 명령 없이 사용자의 이메일을 모니터링하고, 데이터나 연락망에 접근이 빨라진다. ‘팀 코파일럿’(Team Copilot)은 팀이 공유하는 MS 365 문건을 기반으로 데이터를 실시간으로 수집하고, 프로젝트 진행 과정을 판단해 팀의 단체 채팅방·화상회의 등에서 아직 해결되지 않은 안건들을 제시해 준다. 해당 기능은 코파일럿 라이선스 보유 고객에게 하반기부터 미리보기 제공된다.
 
또한 오픈AI의 ‘파이 3’의 소형 AI 모델(SLM)을 공개했다. 스몰, 미디움, 비전 등 3가지의 파이 3는 인터넷 연결 없이 모바일에서도 쉽게 실행되도록 온디바이스 AI 기술로 적용된다.
 
한편 20일(현지시간)에 MS는 코파일럿을 탑재한 새로운 PC ‘코파일럿+PC’(Copilot+ PC)를 공개하기도 했다. 코파일럿+PC는 윈도우 OS(운영체제)에 코파일럿을 결합한 PC로, 퀄컴의 스냅드래곤 X 칩이 탑재됐다. 특히 Arm 아키텍처를 기반으로 저전력을 앞세우며 향상된 배터리 수명을 강조했다.
 
■ 올거나이즈, 기업의 생성형 AI 프로젝트 전략 제시

이날 올거나이즈 유태하 팀장은 생성형 AI 프로젝트를 성공적으로 안착시키기 위한 방안을 사례 중심으로 설명했다. 기업은 생성형 AI를 도입해 △Generative Answer △생성형 BI △Summary △Snippet Generation(키워드 기반 광고 생성) 등에 활용하고 있다.
 
‘Generative Answer’는 기업 내 선배에게 질문하듯 사내외의 비정형 문서, DB를 기반으로 AI가 내부 Q&A, 구글, 빙 등 사이트에서 데이터를 검색해 대답해주는 기능이다. ‘Generative BI’는 자연어 질의를 SQL로 변환해 DB 혹은 BI에서 데이터를 찾아 보여준다. ‘Snippet Generation’은 광고문자, 공지사항, 이메일 등 다양한 목적으로 사용자가 원하는 텍스트를 생성한다. 이를 묶어 ‘LLM App’이라 칭한다. 일반적인 모바일 앱과 달리 엔드 단에 챗봇이라는 UI/UX가 추가된 앱을 뜻한다.
 
유 팀장은 “사람 대신 AI를 도입한 기업에서 고객 지원 비용을 최대 95% 절감하고, 응답 시간을 최대 45분에서 1분으로 감소해 궁극적으로 생산성을 높여주는 사례가 입증되고 있다”며, “기업에서 AI는 사람을 대체하는 존재가 아니다. AI를 잘 사용하는 사람이 AI를 못 하는 사람을 대체하게 될 것”이라고 덧붙였다.
 
여기서 중요한 개념은 ‘RAG(Retrieval-Augmented Generation, 검색 증강 생성)’다. RAG는 지식 기반의 텍스트 생성을 가능케 하는 기법으로, 산업/기업에 특화된 질문에 약한 LLM을 보완하는 전략이다.
 
쉽게 말해 LLM이 단순히 학습 데이터만으로 텍스트를 생성하는 것이 아니라, 외부 지식 베이스로부터 관련 정보를 활용해 환각을 줄이고 정확하고 풍부한 텍스트를 생성한다는 설명이다.
 
예컨대 사람이 AI에게 과거의 금융 사태에 대해 물어봐도 모델에 따라 이전에 학습하지 않은 정보라 모르는 경우, 컨텍스트로 제공하면 답을 할 수 있게 된다. 아직 초기 단계로 LLM가 RAG를 사용하면서도 종종 환각을 보이지만, 최신의 정보 업데이트를 주기적으로 실행함으로써 환각을 최소화할 수 있는 사실에 근거한 검색 방법으로 꼽히고 있다.
 
‘RAG’는 ‘Retriever’, ‘Document Ingestion’, ‘LLM’ 등 세 가지가 핵심이다. 지정된 소스에서 검색(Retriever)하는 과정에서는 AI가 이해하게 문서를 가공해야 한다. 검색 후, 소스에서 검색한 컨텍스트로 프롬프트를 증강하고(Document Ingestion), 모델과 증강된 프롬프트를 활용해 생성(LLM)하는 원리다.
 
유 팀장은 “기업에서 RAG는 필요한 이유는 보편적인 분야에서 수시로 업데이트 되는 경우 최신의 정보를 유지하기 위함이다. 반면 기업이 다루는 분야가 특수하고, 정보가 적고 프라이빗한 경우 파인튜닝(미세 조정)이 필요할 것”이라고 설명했다.