데이터브릭스의 델타 레이크 및 아이스버그 커뮤니티와 협력해 레이크하우스에 형식 호환성을 제공한다.
 
데이터 및 AI 기업 데이터브릭스(Databricks)가 10일 데이터 관리 기업인 타뷸러(Tabular) 인수에 합의했다고 발표했다. 타뷸러는 아파치 아이스버그™(Apache Iceberg™)의 창시자인 라이언 블루(Ryan Blue), 다니엘 윅스(Daniel Weeks), 그리고 제이슨 리드(Jason Reid)에 의해 설립됐다.
 
데이터브릭스는 “이번 인수로 두 가지 대표적인 오픈소스 레이크하우스 형식인 아파치 아이스버그™와 리눅스 파운데이션 델타 레이크(Linux Foundation Delta Lake) 창시자 간의 시너지를 발휘하고, 데이터 호환성을 선도해 조직이 더 이상 데이터의 형식에 제약을 받지 않도록 지원한다”고 밝혔다.
 
데이터브릭스는 델타 레이크 및 아이스버그 커뮤니티의 협력은 단기적으로는 델타 레이크 유니폼 내에서 이루어지며, 장기적으로는 개방적이고 공통적인 단일 상호운용성 표준으로 발전할 계획이다.
 
데이터브릭스는 레이크하우스 아키텍처를 기반으로 기존의 데이터 웨어하우징 워크로드와 AI 워크로드를 관리가 가능한 단일 데이터 사본에 통합하도록 개방형 데이터를 활용한다. 레이크하우스 아키텍처는 데이터에 대한 접근을 보편화함으로써 기업의 생산성을 극대화한다. 독점 데이터 웨어하우스의 종속성에서 벗어나 4년이 지난 현재, 전 세계 기업의 약 74%가 레이크하우스 아키텍처를 구축했다.
 
레이크하우스의 기반은 오브젝트 스토리지에 저장된 데이터의 ACID 트랜잭션을 지원하는 오픈소스 데이터 형식이다. 이러한 형식은 아파치 스파크™(Apache Spark™), 트리노(Trino) 및 프레스토(Presto)와 같은 오픈소스 엔진을 위해 특별히 설계됐으며, 데이터 레이크에서 데이터 작업의 안정성 및 성능을 획기적으로 개선한다. 데이터브릭스는 이를 지원하기 위해 리눅스 재단(Linux Foundation)과 협력해 델타 레이크 프로젝트를 출범했다.
 
이후 델타 레이크와 아이스버그는 레이크하우스 형식의 두 가지 주요 오픈소스 표준으로 부상했으나 두 포맷은 독립적으로 개발돼 호환되지는 않게 됐다. 양사는 기업들이 레이크하우스의 이점을 실현하기 위해 데이터 상호운용성을 요구하는 추세에 따라, 델타 레이크 및 아이스버그 커뮤니티와 긴밀히 협력해 상호운용성을 제공할 계획이다.
 
알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 "데이터브릭스와 타뷸러는 오픈소스 커뮤니티와 협력하여 시간이 지남에 따라 두 형식을 더 가깝게 만들어 개방성을 높이며 고객의 사일로와 마찰을 줄여나갈 계획이다”라며 “작년에 우리는 이 두 형식 간의 상호 운용성을 제공하기 위해 델타 레이크 유니폼을 발표했다. 유니폼을 통해 모든 워크로드에 대한 데이터를 통합하는 최고의 방법을 제공하기 위해 오픈 데이터 레이크하우스 형식의 선두 주자들을 한자리에 모으게 되어 매우 기쁘다”고 밝혔다.
 
라이언 블루 타뷸러 공동창업자 겸 CEO는 "우리는 정확성, 성능 및 확장성과 관련된 중요한 데이터 문제를 해결하기 위해 아파치 아이스버그를 개발했다. 개방형 레이크하우스가 업계 표준으로 자리 잡으면서 아이스버그와 델타 레이크의 인기는 크게 상승했다. 타뷸러는 데이터브릭스에 합류해 개방형 레이크하우스 형식을 기반으로 최고의 데이터 관리 플랫폼을 구축할 계획으로, 이를 통해 '올바른' 형식을 선택하기 위한, 그리고 독점 데이터 포맷에 종속되지 않기 위한 기업의 우려를 해결하는 데 힘쓰고자 한다”고 말했다.