MapR의 테드 더닝(Ted Dunning) 최고 애플리케이션 아키텍트가 2018년 7가지 주요 빅데이터 기술 동향 및 전망을 발표했다.

분석 및 빅데이터 관리의 혁신은 비즈니스가 급격한 데이터의 증가를 관리할 뿐만 아니라 데이터 가치를 극대화할 수 있도록 한다. IDC에 따르면 기하급수적으로 데이터의 양이 증가함에 따라 의미 있는 데이터의 비중이 2013년 22%에서 2020년 37%로 증가할 것이다.

1. 머신러닝, “기술 트렌드”에서 “실제 업무에 적용하는 기술”로 전환
이제 머신러닝은 점점 비즈니스에서 범용적으로 활용될 전망이다. 인공지능(AI)에 대한 관심뿐만 아니라 머신러닝에 대한 관심이 더욱 높아져, 머신러닝의 접근 범위 또한 광범위해지고 있으며 다양한 산업의 기업들에 가치 있는 인사이트를 전달하게 될 것이다.

가장 성공적인 시스템은 기업들이 툴이 아닌 문제점에 더욱 집중했을 때 나타날 가능성이 있다. 기업들은 실질적인 목표를 갖고, 필요한 데이터에 접근할 수 있도록 확장하고, 머신러닝 결과를 실제 업무에 적용시킬 수 있는 현실적인 계획을 수립하기 위해 머신러닝에 알맞은 질문을 할 수 있도록 준비하는 것이 매우 중요하다.

2. 머신러닝 성공의 90%는 (알고리즘 또는 모델이 아닌) 실행 계획
데이터를 효과적으로 관리하는 것은 성공적으로 머신러닝을 사용하는데 매우 중요하다. 데이터 관리는 머신러닝 모델 개발에 입력 데이터를 활용하는 것부터 운영에 필요한 지속적인 유지보수까지 완전한 라이프사이클을 위한 기반이 된다. 효과적인 아키텍처와 전략적인 계획 수립을 통해 여러 머신러닝 툴을 기반으로 하는 다양한 시스템으로 애플리케이션 보다는 플랫폼 수준에서 모든 것을 관리할 수 있게 될 것이다. 즉, 매번 새로운 프로젝트를 위해 새로운 실행 계획을 구상할 필요가 없어질 것이다. 이처럼 효율적인 머신 러닝 실행 계획에 대한 중요성이 점점 높아지고 있다. 또한 조직 전체에 스트림 기반 아키텍처와 글로벌 데이터 패브릭에 대한 요구사항이 증가할 것이다.

3. 신속한 쿠버네티스(Kubernetes) 도입을 통해 멀티-클라우드 환경 구축을 위한 기반 마련
쿠버네티스가 성공할 것이라 전망하지만 이미 쿠버네티스의 도입 속도가 점점 가속화되고 있기 때문에 전망이 아닌 시장의 현황이라고 할 수 있다.
아직 많은 기업들이 쿠버네티스를 클라우드 내에서 컴퓨팅을 관리하고 오케스트레이션(orchestration)하는 툴로 인식하고 있다. 하지만 향후 1년 내에 쿠버네티스는 프라이빗과 퍼블릭을 포함하는 모든 클라우드 환경에서 컴퓨팅을 관리 및 오케스트레이션하고자 하는 진보된 기업들에 의해 점점 더 많이 사용될 것이다. 온프레미스 컴퓨팅은 컨테이너 및 오케스트레이션 방식으로 굉장히 빠르게 변화하고 있다.

4. 기업의 핵심 요소가 되는 빅데이터 시스템 (글로벌 데이터 패브릭 구현)
과거에는 빅데이터와 개발된 프로젝트를 분리시켰는데, 이제 빅데이터는 기업의 주요 자산이 됐으며, 기업들이 비즈니스를 데이터 중심으로 접근하고 있다. 이러한 변화는 데이터 규모, 스토리지, 운영 및 분석 접근 등을 포함하는 빅데이터 시스템이 기업의 핵심 요소가 될 수 있도록 지원한다. 비즈니스는 사일로를 분해하고 수많은 소스를 통해 데이터에 대해 포괄적으로 접근해 진정한 멀티-테넌트 시스템을 위한 컴퓨팅이 가능한 글로벌 데이터 패브릭을 구현하는 방법을 찾게 될 것이다.

5. 데이터 흐름을 데이터 패브릭으로 결합
2018년에는 더욱 많은 기업들이 컴퓨팅을 단순히 데이터베이스에 위치해 있는 데이터가 아닌 데이터 흐름으로 인식하게 될 것이다. 데이터 흐름은 비즈니스의 주요 이벤트를 수집하고 비즈니스 구조를 복제한다. 통합된 데이터 패브릭은 대규모의 흐름 기반 시스템을 개발하는데 기반이 될 것이다. 특정 패브릭은 여러 맥락에서 활용할 수 있도록 다양한 종류의 컴퓨팅을 지원할 것이다. 점점 데이터베이스는 데이터 흐름의 협력자 및 보완 역할을 하게 될 것이다. 2018년 새로운 트렌드는 쿠버네티스와 같은 툴을 사용해 멀티-클라우드 컴퓨팅에 사용하지 않는 데이터와 사용 중인 데이터를 모두 제공하는 데이터 패브릭을 구현하는 것이다.

6. 민첩성 향상을 위한 핵심적인 조직 차원의 접근인 데이터옵스(DataOps)
데이터 과학자와 데이터 중심의 개발자를 포함하는 전통적인 데브옵스(DevOps) 팀이 데이터옵스(DataOps) 팀으로 변화할 것이다. 이는 보다 향상된 커뮤니케이션, 부서간에 역할의 구분을 넘어서는 협력을 통한 목표 달성 가속화, 가치 실현 시간 단축, 높은 민첩성 등을 제공한다. 데이터옵스 형식으로 업무를 관리함으로써 변화하는 환경에 대응하고 적시에 적절한 조치를 취할 수 있는 역량을 제공할 수 있게 된다. 이를 통해 새로운 기술 및 아키텍처가 제공하는 혜택을 얻을 수 있는 유연성 및 효율성을 확보할 수 있다.

7. IoT 엣지의 확장
2018년에는 데이터 패브릭 및 컴퓨팅을 온프레미스에서 멀티-클라우드 환경으로 전환해 사용하는 기업뿐 아니라, 이제는 최대로 확장 가능한 데이터 패브릭으로 기기와 가장 가까운 위치에서 엣지와 바로 연결되거나 데이터 패브릭이 기기에 탑재돼 있을 것이다.

테드 더닝(Ted Dunning) MapR 최고 애플리케이션 아키텍트는 “2018년 기술 전망은 데이터 관련 도전과제들을 해결하기 위한 실질적인 접근과 그 동안 MapR이 기업들이 비즈니스 혁신을 이룰 수 있도록 지원하며 얻은 인사이트를 기반으로 발표했다”며, “기업들 사이에서 새로운 기술을 도입할 때 지속적으로 발생하는 문제는 새로운 기술을 과도한 비용 없이 효율적으로 도입하고자 한다는 것이다. MapR의 데이터 패브릭은 고객이 혁신을 이룰 수 있도록 지원함과 동시에 레거시 시스템 비용을 절감시킨다”고 전했다.