‘SAS 바이야(SAS Viya)' 등 빅데이터 분석 플랫폼 각광

전 산업계가 데이터 중심으로 변모하고 있다. 반면, 데이터 환경은 복잡해지고, 다양한 데이터 및 분석 기술이 혼재하는 혼란도 커지는 게 사실이다. 이에 기업 전체 데이터 환경을 표준화하는 통합 ‘분석 플랫폼’ 수요가 커졌다.

데이터는 금융, 제조, 의료, 통신 등 산업에 관계없이 모든 기업의 비즈니스를 관통한다. 텍스트, 이미지, 음성, 영상 등 데이터의 종류가 다양해졌다. 기업은 더 많은 데이터 소스와 분석 위치를 결합, 활용할 수 있게 됐다.

사물인터넷(IoT) 기기에서 시작되는 실시간 스트리밍 데이터를 중심으로 크기, 속도, 다양성 측면에서 진정한 의미의 빅데이터가 구현되고 있다.

빅데이터관련 가장 권위있는 분석기관인 IDC는 이와관련해 2일 낸 보고서에서 2025년 800억 대의 커넥티드 기기가 180조 기가바이트(GB)에 이르는 데이터를 생성할 것으로 전망했다.

NH농협은행이 최근 SAS 바이야 기반의 SAS VDMML을 도입해 빅데이터 분석 플랫폼을 구축하고, 디지털 트랜스포메이션의 토대를 마련한 것도 대표적 사례다.

새 시스템에 따르면 SAS의 고급 분석 기술을 활용해 개인, 소호(SOHO), 기업 고객의 빅데이터를 효과적으로 탐색하도록 돼 있다. 데이터 과학자를 위한 모델링을 구현함으로써 마케팅, 고객관계관리(CRM), 온라인 분석 처리(OLAP) 시스템을 한층 더 향상시키고 고객 개인별 맞춤형 서비스를 강화한다는 전략이다.

■ 복잡해지는 데이터 환경, 통합 ‘분석 플랫폼’ 수요 증가

데이터 환경이 점점 더 복잡해지면서 분석 소프트웨어 시장도 그 어느 때보다 다양한 솔루션과 기술로 활성화됐다. 가트너는 전 세계 비즈니스 인텔리전스(BI) 및 분석 소프트웨어 시장이 2020년까지 228억 달러 규모로 성장할 것으로 전망했다. 마케팅은 물론 세일즈, 연구개발, 재무회계, 인사 등 전사 차원에서 데이터 인사이트를 요구하고 있다. 데이터 과학자와 분석가는 광범위한 분석 솔루션과 기술을 활용하고 있다.

여러 종류의 데이터와 기술이 분산되고, 분석 프로세스를 표준화하지 않은 기업 환경은 분석을 성공적으로 확장하기 힘들게 하는 걸림돌이다. 빅데이터 분석 플랫폼이 데이터 분석 업계의 큰 화두로 떠오른 이유다.

분석 플랫폼은 다양한 분석 툴과 모델을 일관된 방식으로 관리, 배포하는 단일 시스템이다. 기업은 전사 차원에서 모든 데이터를 효과적으로 관리하고 표준 접근법을 통해 일관성을 높일 수 있다.

사진=Pixabay

분석 플랫폼 수요가 높아지면서 많은 솔루션 제공 업체가 다수의 오픈소스 기술을 조합하고 기능을 나열하는 형태의 제품을 선보이고 있다. 다양한 기능을 개별 제공하는 것과 그 기능을 서로 연계, 통합해 단일 운영 환경으로 제공하는 것은 전혀 다르다.

알파고로 머신러닝 기술력을 입증한 구글은 ‘머신러닝 시스템의 숨겨진 기술적 부채’라는 논문을 통해 빅데이터 분석을 위한 시스템을 구축하기 위해 현실적으로 다양한 기술을 조합해야 하며, 인터페이스와 시스템 적용 과정에서 상당한 노력이 필요하다고 강조한다.

또 초기 개발 단계보다 향후 운영 과정에서 더 많은 비용이 소요될 수 있다고 경고한다. 따라서 분석 플랫폼을 성공적으로 구축하고 숨겨진 리스크를 최소화하려면 서로 다른 여러 원천 기술을 단일 시스템으로 결합해 하나의 분석 엔진, 언어, 관리 체계, 사용자 환경을 제공하는 솔루션을 선택해야 한다.

분석 플랫폼 개념과 필요성은 이전부터 존재했다. 시장조사업체 포레스터는 2016년 데이터 관리, 분석, 인사이트 실행에 필요한 툴을 모두 결합하는 엔터프라이즈 인사이트 플랫폼이 엔터프라이즈 아키텍트 사이에서 최우선 신기술로 떠올랐다고 발표한 바 있다. 최근 데이터 환경과 분석 기술이 점점 더 복잡해지고 다양해짐에 따라 분석 플랫폼 수요가 빠르게 증가하고 있고, 실제 그 성공 사례들도 소개되고 있다.

■ 분석 플랫폼 성공 전략 '기업 전체 부서 및 직원 간 협업 확대'

기업은 성공적인 분석 플랫폼 전략을 통해 기술 역량을 높이는 것은 물론 조직 전체의 협업을 강화하고, 부서 간 장벽을 허물 수 있다. 대표적인 예가 ‘SAS 바이야(Viya)’다. 인공지능(AI) 활용을 위한 엔터프라이즈 분석 플랫폼인 SAS 바이야는 웹 인터페이스로 데이터(Data)-탐색(Discovery)-적용(Deployment)에 이르는 전체 분석 라이프사이클을 단일 프로세스로 처리한다. 기업은 각기 다른 언어로 코딩된 모든 분석 자산과 작업을 유연하게 관리하고, 초보자부터 전문가까지 직원 누구나 손쉽게 데이터로부터 인사이트를 도출할 수 있다.

'SAS 바이야'는 개방형 분석 플랫폼으로 파이썬, R, SAS 등 다양한 언어와 오픈 API를 지원한다. 모든 직원은 각자 편하거나 개별 작업에 적합한 언어, 코드, 오픈소스 기술과 툴을 이용하면서도 공통의 접근법을 유지할 수 있다. 이를 통해 기업은 다양한 언어와 각기 다른 알고리즘이 주는 모든 혜택을 모아, 전체 배포 과정에 맞게 조정, 적용할 수 있다.

실제 금융, 제조, 통신, 헬스케어 등 다양한 산업의 선두 기업들이 SAS 바이야를 도입, 실무진과 경영진까지 누구나 데이터 중심 인사이트를 손쉽게 공유하는 DIY(자신의 힘으로 하기) 분석 문화를 구축했다. 2017년 미국 최우수 병원 2위에 선정된 클리블랜드 클리닉(Cleveland Clinic)과 세계적인 오토모티브 제품 및 서비스 기업 콕스 오토모티브(Cox Automotive)는 'SAS 바이야'로 전사에 걸쳐 단일 분석 플랫폼을 구축했다. 이를 기반으로 마케팅, 세일즈, 운영, 네트워크, 회계 등 모든 부서의 직원들이 동일한 프로세스를 사용해 데이터 분석 결과를 손쉽게 활용, 공유한다.

숀 허시먼 콕스 오토모티브 의사결정 과학 담당 부사장은 “SAS 바이야가 분석 조직을 단단히 묶어주는 접착제 역할을 한다”며 “개방형 플랫폼인 SAS 바이야는 전 직원이 자신만의 코드와 오픈소스 기회를 활용할 수 있게 하며, 모두에게 새로운 코드 베이스를 열어준다”고 밝혔다. 그는 이어 “어떤 패키지를 사용해 모델링 할 것인지 논쟁하기보다 조직에 실질적인 변화를 가져올 수 있는 프레임워크를 논의한다”라고 덧붙였다.

■ 일반 사용자도 머신러닝, 딥러닝, 인공지능 등 고급 분석 기술 활용

SAS는 최근 데이터 접근부터 정교한 모델 적용까지 모든 데이터 작업을 통합 환경에서 진행할 수 있는 ‘SAS 비주얼 데이터 마이닝 앤드 머신러닝’ 솔루션의 기능을 더 강화했다. SAS 바이야 기반의 SAS VDMML은 통합적인 시각화 프로그래밍 인터페이스를 통해 머신러닝, 딥러닝 등 인공지능 개발의 전 과정을 단순한 이미지로 시각화해준다.

코드 작성, 프로그래밍에 능숙한 데이터 과학자와 프로그래머는 물론 일반 비즈니스 사용자도 간편한 드래그앤드롭만으로 초, 분 단위로 모델을 구축하고 손쉽게 인공지능 등 고급 분석을 구현할 수 있다. 기업은 인메모리와 분산 처리를 기반으로 반복적인 데이터 작업을 줄이고, 복잡한 비즈니스 문제를 신속하게 해결할 수 있다. 여러 사용자가 동시에 동일한 원시 데이터를 탐색, 모델을 구축하며 협업함으로써 핵심 인력 및 데이터 자원을 보다 효율적으로 활용할 수 있다.

SAS 비주얼 데이터 마이닝 앤드 머신러닝(SAS VDMML) 실행 화면

NH농협은행은 SAS 바이야 기반의 SAS VDMML을 도입해 빅데이터 분석 플랫폼을 구축하고, 디지털 트랜스포메이션의 토대를 마련했다. NH농협은행은 SAS의 고급 분석 기술을 활용해 2천200만 개인, 소호(SOHO), 기업 고객의 빅데이터를 효과적으로 탐색한다. 데이터 과학자를 위한 모델링을 구현함으로써 마케팅, 고객관계관리(CRM), 온라인 분석 처리(OLAP) 시스템을 한층 더 향상시키고 고객 개인별 맞춤형 서비스를 강화했다.

NH농협은행은 빅데이터 고객 포털을 구축해 고객에 대한 360도 이해를 제고했다. 빅데이터 고객 포털을 기반으로 개인 고객별 맞춤형 상품을 추천하고, 이탈 가망도를 산정해 더 효과적으로 고객을 관리하고, 소호 고객을 발굴할 수 있게 됐다. 최신 분석 기술을 기반으로 분석 체계를 업그레이드 하는 등 비즈니스 경쟁력을 높였다.

시스템 측면으로 △데이터 분석 성능의 비약적 향상 △ 하둡 기반 전사 데이터 레이크 구축 △ 비주얼 분석 기반 도입 등의 성과를 거뒀다. NH농협은행은 플랫폼 내 주요 정보를 기존 OLAP 시스템과 연계해 빅데이터 마트를 구축하고, 정형 및 비정형 분석 환경 모두를 지원하도록 고도화했다. 그 결과 개인, 소호, 기업 등 고객별 데이터를 시각화해 대면 및 비대면 채널 이용, 고객 소비, 기업 여신 현황 등 다양한 빅데이터 리포트를 생성할 수 있게 됐다.

오병준 SAS코리아 대표는 “오늘날 애널리틱스 이코노미에서 기업의 모든 부서, 전 직원이 분석을 활용할 수 있는 환경은 전략적 기술 그 이상을 의미한다”며 “머신러닝, 딥러닝, 인공지능 등 다양한 고급 분석 기술을 통합, 누구나 이용할 수 있는 쉬운 방식으로 지원하는 분석 플랫폼은 기업의 핵심 전략”이라고 강조했다.

그는 “SAS는 그 동안 고급 분석과 인공지능의 혜택을 누리지 못했던 기업도 더 폭넓은 비즈니스 기회를 창출하도록 적극 지원할 것”이라고 덧붙였다.