ComTrend 2013 - 최형광  한국HP 상무
빅데이터 솔루션과 인사이트
새로운 스타일의 IT를 만들어 가는빅데이터

정리 김희성 기자 (eled@hellot.net)

비즈니스가 바뀌고 있다. 우리가 알고 있는, 학교에서 배웠던 IT와 현재의 IT는 다르다. 이전의 IT가 데이터베이스를 처리하고 데이터 프로세싱을 실시하는 클래식한 IT였다면, 지금은 빅데이터 출현 등에 의해 새로운 패턴의 IT로 그 개념이 많이 바뀌었다. 이제는 이것을 어떻게 핸들링하느냐 하는 것이 관건이다.
휴렛팩커드(HP)의 창업자인 데이비드 팩커드는 “To Re- main Static is to Lose Ground”라고 했다. 즉, 정적으로 남아있는 것은 그라운드로 떨어진다는 것. 기술이 빠른 속도로 발전함에 따라 세상은 다이내믹하게 변하고 IT는 더 빨리 변한다. 따라서 예전의 IT와 현재의 IT는 전혀 다른 것이다.
자동차 산업, 조선 산업, 철도 산업 등과 같이 어느 시대든 그 시대를 이끄는 산업이 있다. 최근 이공계가 위기라는 이야기가 많이 나오고 있지만, 우리나라뿐 아니라 전 세계 산업의 원동력은 아직까지도 IT라고 할 수 있다. 최근에는 IT 환경이 변하면서 새로운 타입의 비즈니스도 등장했다. 그 중 이슈가 되는 업체는 구글, 쿠팡, 유투브, 페이스북, 트위터 등이다.
4년 전쯤 스마트폰이 보급되기 시작하면서 빅데이터가 출현했다. 이제는 엄청난 양의 데이터를 저장해야 하고 분석해야 하며 결과도 도출해야 한다. 따라서 기존의 스토리지로 데이터를 저장하는 것은 불가능해졌으며, 스캐너블(scannable)한 시스템으로 횡적 확장이 가능한 새로운 패턴의 시스템이 필요해졌다. 이것이 새로운 스타일의 IT이다.

새로운 형태의 IT

최근 새로운 패턴의 디바이스가 나옴에 따라 상거래, 소셜 네트워크 등이 가능해졌다. 또한 현재 트랜젝션의 50% 이상은 모바일 환경에서 발생하고 있기 때문에 기존의 네트워크로는 컨트롤할 수 없어 네트워크가 바뀌고 있다. 클라우드의 경우 쉽게 잃어버릴 수 있는 USB 대신 사용할 수 있으며 많은 양의 데이터에 편하게 접근(Access)할 수 있다.
정보기술은 예측이 불가능하고, 매몰 비용을 최소화해야 하며 그러한 아키텍처를 선택해야 하는 쪽으로 변해가고 있다. 때문에 가상화 기반이 나왔으며 소프트웨어 디파인 스토리지(Software-Defined Storage)와 소프트웨어 디파인 네트워크(Software-Defined Network)가 만들어졌다.
앞으로는 데이터로 새로운 가치를 창출하기 위해, 투자비용인 케펙스(CAPEX)보다 운영 비용인 오펙스(OPEX)를 줄이는 방법 및 운용 비용을 줄이고 새로운 투자 비용에서 모멘텀을 찾으려는 시도들이 많아질 것이다. 
최근 서버에는 메모리 계층이 새롭게 추가되고 있다. 기존 애플리케이션의 인메모리 구동 또는 인메모리 접근법을 활용하기 위해 이 애플리케이션을 리팩토링(Refactoring)하면 애플리케이션의 성능과 확장성이 개선되고, 낮은 대기시간(1마이크로초 이하)의 애플리케이션 메시징과 매우 빠른 배치 실행 및 분석이 가능해진다. 따라서 요즘 다양한 데이터 분석 관련 솔루션들은 인메모리로 실행하려고 한다는 공통적인 특징을 갖게 되었다. 최근에는 약간의 데이터 로스가 발생하더라도 데이터를 추출하여 판단할 수 있게 해주는 방식이 선호되고 있다. 그래서 기존의 행(Row) 기반 RDBMS (Rela-tional Data Base Management System)로는 패턴 분석이 어려워, 인메모리 베이스의 컬럼(column) 기반 데이터베이스를 찾게 되는 것이다.

HP의 빅데이터 플랫폼

HP는 HAVEn이라는 빅데이터 플랫폼을 갖고 있다. H는 하둡(Hadoop)/HDFS를 나타내는 것으로, 비정형 대량 데이터의 분산 및 병렬 처리와 저비용 비정형 데이터 처리가 가능하다는 것을 뜻한다. A는 Autonomy/IDOL을 나타내는 것으로, 최근 다양한 패턴을 추출해서 분석할 수 있는 솔루션이 필요해짐에 따라 모든 정보 매체에 대한 인덱싱 및 분석, 500개 이상의 데이터 처리 함수, 1000개 이상의 다른 형식 처리 등이 가능하다는 것을 의미한다. 또한 V는 Vertica로, 대량 데이터의 실시간 정형 데이터 분석 처리, 기존 DW에 비해 50~100배의 성능, 10~30배의 저장 효율이 향상됐다는 것을 가리키며, E는 Enterprise Security로 300개 이상의 로그 생성 원천 인식 및 수집, MGD Filtering, Parsing, Enriching, 90%의 압축 데이터 저장 및 필요 정보 검색과 분석이 가능하다는 것을 의미한다. 마지막으로 n은 nApps로 Biz. Application, ＋HP Software를 뜻한다.
요즘에는 다양한 패턴을 분석하기 위해 리치미디어(Rich Media)를 검색해야 하고 소셜 데이터 모델링을 따로 실행해야 하며 비정형 콘텐츠도 관리해야 하고 그것을 고성능 데이터베이스에서 핸들링해야 한다. 또한 SNS를 분석해야 하고 시맨틱(Semantic) 검색해야 하며 추출한 콘텐츠를 새롭게 제너레이션해야 한다. 그러나 이러한 과정들은 현재 우리 아키텍처에 들어가 있지 않다. 왜냐하면 우리는 아직도 클래식한 IT 환경을 만들고 있기 때문이다.

분석 및 시각화로 데이터의 존재 가치 부여

데이터는 매니지먼트되고 프로세싱되어 분석된 후 우리가 볼 수 있게 된 다음에야 존재의 의미가 부여된다. HP는 이것을 가능하게 하는 로직을 갖고 있으며 여러 관련 제품들을 선보이고 있다. HP의 온라인 스토리지는 기존의 스토리지와 다르게 프로비저닝(Provisioning)이 가능하며, 사이즈 조정이 편하고 원트릭으로 관리할 수 있는 솔루션으로 HP 3PAR StoreServ, HP StoreVirtual, HP VMA가 있고, 백업 스토리지로는 HP StoreOnce, HP StoreEver 등이 있다. 기존에는 백업을 ‘받는’ 것이 중요했으나, 지금은 문제가 발생했을 때 ‘복구’하는 것이 더 중요해졌다. 또한 새로운 패턴에 대응하는 모던 IT로 아키텍처가 설계되고 있으므로, 복구의 경우에도 기존보다 5배 빨라진 제품이 나왔다.
빅데이터의 성장 속도는 오늘날 정체된 인프라를 앞지르고 있다. 이와 같이 새로운 형태의 데이터가 나옴에 따라 새로운 스타일의 서버와 인프라도 필요해졌다.
HP에는 저전력 기반에서 미션 크리티컬(Mission Critical)한 유닉스, 리눅스 등 어떤 것을 선택하더라도 하나의 시스템에서 핸들링할 수 있는 서버가, 그리고 하둡을 쉽게 적용할 수 있는, 하둡에 특화된 서버들도 있다. 즉 소프트웨어 디파인 시스템, 소프트웨어 디파인 네트워크를 보유하고 있는 것이다.