실시간 빅데이터에 대한 복잡한 스트림 분석 지원

데이터 기반 인프라 기술 및 솔루션 제공업체 이디엄은 21일 실시간 빅데이터 분석 성능 및 고급 분석기능이 강화된 ‘로그프레소 3.0’을 발표했다. 


로그프레소는 IT 인프라에서 발생하는 다양한 데이터의 수집부터 저장, 분석, 시각화에 이르는 전체 과정을 단일 엔진으로 처리할 수 있는 국산 실시간 빅데이터 솔루션이다. 

로그프레소는 금융, 통신, 공공 등 각종 산업 영역에 걸쳐 응용 영역을 넓혀 나가고 있으며, 컴플라이언스 준수, 서비스 품질데이터 실시간 분석, 개인정보 유출 탐지, 하루 20TB에 이르는 통신 로그 분석까지 다양한 목적으로 활용되고 있다. 

로그프레소 3.0은 △10배 이상의 검색 성능을 제공하는 필드 인덱스 △실시간으로 연관 분석을 수행할 수 있는 스트림 조인 및 멀티 패턴 매칭 △고급 분석을 위한 다양한 분석 기능 제공 등이 특징으로, 기존 제품에 비해 실시간 분석 및 검색 성능이 개선되었고 복잡한 조건의 분석을 수행할 수 있는 분석 기능을 강화하였다. 

이디엄 양봉열 대표는 “IoT 시장의 급속한 성장으로 인해, IT 인프라에서 발생하는 데이터의 종류와 양은 이전과는 비교할 수 없을 정도로 방대해지고 있다”며 “로그프레소는 데이터 수집에서 저장, 분석, 시각화에 이르는 데이터 분석 전체 과정을 유연하게 통합하고, 차별화된 실시간 빅데이터 분석 기술과 혁신적으로 개선된 데이터 처리 성능을 제공하여 급속도로 증가하는 각종 실시간 빅데이터 분석 요구를 만족시킬 것”이라고 설명했다. 

10배 이상의 검색 성능이 개선된 필드 인덱싱 

로그프레소 3.0은 새로 도입된 필드 인덱스을 기반으로, 기존 풀텍스트 인덱스 대비 10배 이상 향상된 검색 성능을 제공해 보다 빠른 데이터 분석이 가능하다. 필드 인덱스는 I/O 감소, 타입 인코딩을 이용한 범위 검색 지원 등 다양한 기능을 개선하여 뛰어난 검색 성능을 제공한다. 

국내 한 통신사의 경우, 천만명 이상의 사용자로부터 매일 7TB 이상의 데이터가 생성되고 있다. 필드 인덱스 도입을 통해 15일치 데이터 전수 분석을 20분 이내에 수행할 수 있게 되었고, 사용자 단말의 악성 앱 감염 여부를 보다 빠르게 진단하여 악성 앱에 의한 피해를 최소화 할 수 있게 되었다. 

빅데이터 실시간 분석을 위한 스트림 조인, 멀티패턴매칭 및 CEP 엔진 

로그프레소 3.0은 데이터를 실시간으로 조인 분석 할 수 있는 스트림 조인 기능과, 수천가지의 패턴을 고속으로 매칭할 수 있는 멀티 패턴 매칭 기능, CEP 엔진을 이용한 이벤트 분석 기능을 제공한다. 이를 이용해 실시간 빅데이터의 조인 분석, 패턴 매칭 및 이벤트 분석이 가능해진다. 

한 은행의 경우, 로그프레소를 도입해 이체 거래를 50종 이상의 패턴 및 2년간의 행위이력과 대조하여 0.1초 안에 이상 거래 여부를 탐지한다. 이를 통해 각종 금융사기로부터 발생하는 다양한 이상거래를 차단할 수 있게 되었다. 

고급 분석을 위한 다양한 함수 및 데이터량 제한 없는 조인 및 중첩 조인 지원 

로그프레소 3.0은 고급분석을 위한 다양한 함수를 제공해 빅데이터를 기반으로 다양한 예측 분석 및 클러스터링 등을 수행할 수 있다. 

또한 데이터 량에 제한없는 조인 및 중첩 조인을 지원하여, 이기종 데이터를 기반으로 복잡한 시나리오 분석을 할 수 있다. 이를 통하여 DLP 유출탐지, DRM 암호화 해제, 프린트 로그, 인사정보 등 각종 항목을 조합하여 내부통제 이상 탐지 룰을 작성하고, 시나리오로 만들어 다양한 이상 행위를 신속하게 탐지 할 수 있다. 

이디엄은 로그프레소를 활용하는 고객의 다양한 요구사항을 적극적으로 반영하여 △에이전트 원격 업그레이드 △분산환경에 대한 권한 관리 △보안 그룹 관리 등 데이터 수집부터 저장, 분석, 시각화, 관리까지 전체 과정을 개선했다. 이렇게 개선된 환경을 이용하여, 고객은 데이터 분석 과정 전체에 소요되는 비용을 감소시키는 동시에 중요한 데이터를 더욱 더 안전하게 관리할 수 있다. 

로그프레소 3.0의 출시로 인해 최고 성능을 보장하는 실시간 빅데이터 솔루션으로서 입지를 강화함은 물론, 분석의 중요성이 커져가는 시장 환경에 가장 알맞은 형태로 로그프레소의 영역 확대를 가속화 할 것으로 보인다. 
 
데이터 기반 인프라 기술과 솔루션을 제공하는 이디엄은 데이터를 기반으로 가치를 창출하고, 문제를 해결할 수 있는 다양한 방법을 제공한다. 자세한 정보는 웹사이트(http://logpresso.com)에서 확인할 수 있다.