데이터브릭스가 생성형 AI 트렌드에 힘입어 자사 제품의 패러다임을 변화시키고 있다. 데이터브릭스는 고객이 데이터 레이크하우스에 인텔리전스 엔진을 도입해 AI 기반 비즈니스 운영 최적화를 가능하게 하는 환경으로 '데이터 인텔리전스 플랫폼'을 제시했다.

 

데이터브릭스는 23일 코엑스 인터컨티넨탈 호텔에서 '데이터 인텔리전스 데이(Data Intelligence Day)'를 개최 및 기자간담회를 열어 데이터브릭스의 데이터 인텔리전스 플랫폼과 지난 3월 출시한 LLM(거대언어모델) 'DBRX'를 소개했다.

 

데이터 인텔리전스 플랫폼은 기존에 데이터브릭스가 개발한 데이터 레이크하우스 아키텍처에 데이터 인텔리전스 엔진을 더해 데이터와 AI를 쉽게 확장해 사용할 수 있는 새로운 플랫폼을 제공한다는 점이 핵심이다.

 

데이터 레이크하우스가 모든 종류의 정형 및 비정형 데이터를 한 곳에서 액세스할 수 있는 이점을 제공했다면, 여기에 생성형 AI를 더해 조직 전반에 걸쳐 데이터 및 AI를 보편화하고, 다양한 워크로드에서 비용 효율성과 고성능을 보장한다는 설명이다.

 

데이터브릭스 제품 담당 데이비드 마이어 수석 부사장은 "이기종의 기기에 산재돼 있는 데이터를 연결 및 통합하는 데 어려움을 겪는 기업들이 데이터브릭스의 데이터 인텔리전스 플랫폼에서 생성형 AI를 기반으로 기존보다 작업을 10배 간단하게 수행할 수 있다"고 말했다.

 

예컨대 데이터 인텔리전스 플랫폼은 방대한 델타 레이크의 데이터를 활용할 때 과거 실행을 기반으로 적합한 머신을 선정해준다. 또한 테이블이 변경될 경우 파이프라인 내 코드를 저장 및 수정해 끊기지 않도록 하여 기업의 AI 어플리케이션을 개발을 돕는다.

데이터브릭스 아태지역 총괄 애드 렌타 수석 부사장은 "현업에서 조직 내 모든 사용자들이 데이터 액세스 할 수 있도록 하는 것이 중요하다"며, "데이터브릭스는 고객에게 AI 활용 경험을 제공하는 데 기여하고 있다"고 말했다.
 

데이터브릭스는 자체 데이터 인텔리전스 엔진을 구축하기 위해 'Mosaic AI'를 인수해 오픈소스 LLM 'DBRX'를 개발했다. 데이터브릭스의 DBRX는 높은 정확성을 제공하고, 제어가 쉽고, 모델과 데이터에 대한 완전한 소유권을 제공한다. 또한 데이터브릭스의 자료에 따르면, DBRX는 경쟁사 대비 낮은 비용으로 라마 2, Mixtral, Grok-1, 챗GPT 3.5 등 5개 LLM의 언어 이해, 프로그래밍, 수학 부분 성능을 능가하는 것으로 나타났다.

 

그러나 데이비드 마이어 수석 부사장은 "반드시 DBRX를 사용하라는 뜻은 아니다. 메타의 라마 3는 DBRX보다 나은 부분이 있다"며, "데이터브릭스는 고객이 가장 적합한 생성형 AI 모델을 사용할 수 있도록 플랫폼 환경을 제시해 다양한 선택권을 제공하는 것이 궁극적인 목적"이라고 설명했다.

 

데이터브릭스 코리아 장경운 솔루션즈 아키텍트 팀장도 "고객이 자사의 규모에 맞는 모델을 쉽게 바꿀 수 있는 환경을 제공하는 게 데이터브릭스의 역할"이라고 주장했다.

 

장 팀장은 데이터 인텔리전스 플랫폼에서 사용자 UI, 데이터 인덱싱 방법, 쿼리 플래닝 방법 등 AI 접목으로 데이터 개발자와 비전문가 모두 향상된 기능을 활용하는 방법을 직접 시연했다.
 

한편 이날 데이터브릭스 행사에는 데이터 인텔리전스 플랫폼을 도입한 국내 기업들의 사례 발표가 이어졌다. 전 세계 1만 2천개의 고객을 보유한 데이터브릭스는 국내 LG전자, 한화, 신세계, 이마트24 등의 고객을 두고 있다.

 

애드 렌타 수석 부사장은 "데이터 및 AI 수요 급증에 따라 지난해 데이터브릭스는 한국에서 지난 회계연도에 연간 100% 성장을 기록했다"고 말했다. 이는 올 1월 31일을 기준으로 전 세계 약 16억 달러(약 2조 2천억원)에 달한다.

 

LG전자 곽용훈 데잍플랫폼실 실장은 "데이터브릭스의 데이터 인텔리전스 플랫폼을 활용해 수많은 고객 데이터를 연결 및 통합했으며, 수천 명의 사용자가 동시에 고객 데이터를 분석해 AI 기반 제품 및 서비스를 제공할 수 있게 됐다"며, "향후 데이터브릭스와의 파트너십으로 LG전자의 제품 및 서비스를 사용하는 고객의 가치를 높일 수 있는 DX 활동을 지속하겠다"고 말했다.

 

한화는 데이터브릭스를 도입해 전사적 제조 효율성을 향상하고 개발 시간을 최대 90% 단축했다. 이마트24는 "자사에 8만개 이상 제품과 60억건의 거래 및 데이터가 발생하는데 데이터브릭스 도입 후 인사이트 도출 시간은 96%로 줄였고 비용도 93% 감소했다"고 전했다.