| 바이두, 인텔 옵테인 기반 메모리 플랫폼 구축
| 인텔 옵테인 DC 퍼시스턴트 메모리와 DRAM
| 모두 탑재되는 하이브리드 메모리 구성 설계로
| 고객 맞춤 콘텐츠 제공하는 '피드 스트림' 개선

바이두의 인터넷 서비스에 인텔의 메모리 역량이 반영된다.

인텔이 2일, 바이두가 ‘인텔 옵테인 DC 퍼시스턴트 메모리(Intel Optane DC persistent memory)’의 대용량 고성능 기능을 활용하기 위해 바이두 ‘피드 스트림(Feed Stream)’ 서비스의 인메모리(in-memory) 데이터베이스를 설계한다고 발표했다.

2세대 ‘인텔 제온 스케일러블 프로세서(Intel Xeon Scalable processors)’를 탑재하고 인텔 옵테인 DC 퍼시스턴트 메모리를 바탕으로 한 메모리 플랫폼을 구축함으로써 바이두는 총소유비용(Total cost of ownership, TCO)을 낮추면서도 맞춤화된 검색 결과를 사용자에게 제공하게 됐다.

인텔과 바이두는 8월 29일, 중국 베이징 국립 컨벤션 센터에서 열렸던 2019년 ‘바이두 ABC 서밋(2019 Baidu ABC Summit)’에서 이러한 양사의 협력에 관한 세부 내용을 공개했다.

바이두와 같은 인터넷 서비스 제공 기업들은 폭발적으로 증가하는 데이터를 관리하게 되면서 빠르고 효율적인 데이터 액세스 및 저장을 실현해야만 하게 됐다. 이번 발표로 바이두는 고객에게 더 맞춤화된 콘텐츠를 제공하도록 피드 스트림 서비스를 개선한다.

바이두는 클라우드 기반의 피드 스트림 서비스에서 데이터 저장 및 정보 검색을 가속하고자 인메모리 데이터베이스 ‘피드큐브(Feed-Cube)’를 사용하고 있다. 바이두는 여기에 인텔 옵테인 DC 퍼시스턴트 메모리와 2세대 인텔 제온 프로세서를 배치하여 피드큐브에 대한 병행처리(concurrency), 대용량의 고성능을 보장한다.

인텔과 바이두는 바이두 피드 스트림 서비스 내에 인텔 옵테인 DC 퍼시스턴트 메모리와 DRAM이 모두 탑재되는 하이브리드 메모리 구성을 설계했다. 이러한 접근 방식을 통해 피드큐브는 대규모 동시 접속의 압박에도 검색 결과에 대한 응답 시간이 향상되었다. 동시에 단일 서버 DRAM 사용량이 절반 아래로 감소했고, 피드큐브의 페타바이트급 스토리지 용량 측면에서 비용을 절감했다.

인텔과 바이두는 레디스(Redis), 스파크(Spark) 및 서비스 기능 등 인텔 옵테인 DC 퍼시스턴트 메모리 기술을 사용하는 다른 애플리케이션의 사례를 포함하여 해당 연구에 대한 케이스 스터디를 공개했다.

인텔의 부사장 겸 클라우드 플랫폼 및 테크놀로지 그룹의 총괄 매니저 제이슨 그레베(Jason Grebe)는 “인텔은 10년 넘게 검색, AI, 자율주행, 클라우드에 이르는 바이두의 핵심 비즈니스를 지원하고 있다”라며, “이러한 양사간 긴밀한 협력을 통해 최신 인텔 기술을 신속하게 구축하고 고객이 바이두의 서비스 경험을 향상한다”라고 말했다.

바이두의 추천 테크놀로지 아키텍처(Recommendation Technology Architecture) 부문 수석 설계자인 타오 왕(Tao Wang)은 “피드큐브 데이터베이스에 인텔 옵테인 DC 퍼시스턴트 메모리를 사용하면 비용 효율적으로 메모리 용량을 확장해 피드 스트림 서비스에 대한 요구에 대응할 수 있다”라고 밝혔다.

그 외에도 인텔과 바이두는 고성능 컴퓨팅(HPC) 워크로드에서 머신러닝 성능을 가속화하는 스토리지 솔루션을 공개했다. 새로운 HPC 솔루션은 바이두의 클라우드 환경에서 제공되며, 사용자에게 데이터 전처리, 모델 트레이닝 및 평가에서 추론 및 결과 공개에 이르기까지 다양한 기능을 아우르는 엔드투엔드 HPC 지원을 제공한다. 바이두 클라우드 ABC 스토리지 서비스는 인텔 옵테인 DC SSD와 인텔 QLC 3D NAND SSD를 사용한다.

한편, 인텔과 바이두는 최근 리눅스 파운데이션 산하 컨피덴셜 컴퓨팅 컨소시움(Confidential Computing Consortium; CCC)에 합류했다. 컨소시엄의 일환으로 인텔과 바이두는 업계 파트너들과 협력하여 '인텔 소프트웨어 가드 익스텐션(SGX)' 기술을 바탕으로 바이두 클라우드에 프라이빗 신뢰 컴퓨팅 서비스를 구축 및 저장할 예정이다.