‘구슬이 서 말이라도 꿰어야 보배’ 5년 시행착오… 빅데이터 본격 기지개

매년 IT 업계를 이끌 ‘10대 전략기술’을 발표하고 있는 IT 리서치 회사 가트너는 지난 2012년 처음으로 ‘빅데이터’를 선정하며 그 가능성을 높게 평가했다. 이어 2013년에도 10대 전략기술로 ‘전략적 빅데이터’를 꼽았으며 2015년에는 ‘보편화된 첨단 분석’으로 선정하는 등 빅데이터 활용에 주목하는 모습을 보였다.

시장조사기관 미국 IDC는 전세계 빅데이터 기술 및 서비스 시장이 연평균 26.24%로 성장해 오는 2018년 415억달러에 이를 것이라고 전망했으며 IT 리서치 회사 위키본도 빅데이터 시장 규모가 2015년 384억달러, 2017년 501억달러 규모로 성장할 것이라고 예측했다.

또 국내 빅데이터 시장 역시 성장세를 이어갈 것이라는 전망이 우세하다. 한국과학기술정보연구원에 따르면 국내 빅데이터 시장 규모는 2015년 2억 6천만달러에서 2020년 8억 9천만달러로 급성장할 것이라고 예상됐다.

이처럼 국내외 분석기관들은 빅데이터가 처음 등장했던 당시와 마찬가지로 빅데이터의 가능성에 변치 않는 기대감을 내비치고 있다.

이 같은 분위기 속에서 기업들의 ICT 투자도 지속적으로 늘어날 것으로 보인다. 가트너가 기업 IT 책임자들을 대상으로 실시한 조사 결과에 따르면, 빅데이터 투자 계획이 있다고 응답한 비율이 2013년 64%에서 2014년 73%로 증가한 반면, 투자 계획이 전혀 없다고 응답한 비율은 2013년 31%에서 2014년 24%로 감소했다.

투자 계획이 증가할 것이라고 예상된 만큼 투자 규모도 늘어날 가능성이 높다. IDC에 따르면 2015년 전세계 ICT 투자는 전년 대비 3.8% 늘어난 3조 8천억달러를 기록할 것으로 예상되고 있는데, 이 중 빅데이터를 포함한 3세대 플랫폼 관련 투자는 전세계 ICT 투자의 30% 수준에 달할 전망이다. 또 전세계의 빅데이터 관련 소프트웨어, 하드웨어, 서비스 지출액도 1250억달러로 늘어날 것으로 예측되고 있다.

5년간의 열풍과 한계점

이처럼 빅데이터에 대한 시장의 장밋빛 전망과 지속적인 투자에도 불구하고 그동안의 성과는 미미했던 것이 사실이다. 특히 같은 시기 파괴적 혁신을 이끌었던 스마트폰의 경우와 비교해보면 빅데이터가 거둔 가시적인 성과는 거의 없다고 봐도 될 정도다.

빅데이터에 대한 전문가들의 의견에서도 빅데이터가 적어도 지금까지는 기대에 미치지 못했음을 알 수 있다. 가트너의 이안 베르탐은 “2015년부터는 빅데이터가 단순한 열풍에서 더 의미 있는 가치가 입증된 기술로 변모되겠지만 투자 수익이 기대에 미치지 못 하는 기업들이 많을 것”이라고 말했으며 TNS 호주지부의 알리스테어 리스우드는 “아직 충분할 정도로 개인화된 마케팅을 실현시키지 못한 기업이 많으며 충분한 정보를 가지고 있음에도 제대로 마케팅이 되지 않았기 때문에 지금까지 빅데이터와 분석이 아직 충분히 활용되지 못하고 있다는 것을 의미한다”고 전했다.

또 컨설팅 회사 인포침스의 2013년 조사 결과를 보면, 빅데이터 프로젝트 중 절반 이상이 실패했으며, 성공한 것으로 알려진 기업 역시 운영 효율 측면에서는 한계가 있었던 것으로 나타났다. 더욱이 빅데이터 프로젝트를 통해 제대로 된 효과를 거두었다고 응답한 기업이 10분의 1도 되지 않는다는 조사결과도 있었다.

이처럼 많은 기업들이 빅데이터를 활용에 어려움을 겪고 있는데 LGERI 리포트 ‘빅데이터의 현실, 기대와 큰 격차’에 따르면 데이터 확보의 문제, 정보보호 및 보안의 문제, 예산 문제, 분석 역량 및 전문가 부족 문제 등이 빅데이터 활용을 어렵게 하는 요인으로 분석됐다.

외부 데이터는 고사하고 기업 내부 데이터들도 파편화되어 통합되어 있지 않은 경우가 많을 뿐 아니라 필요한 외부 데이터가 있어도 확보하기 어려운 경우가 많았다. 이미지, 텍스트, 동영상 등 비정형 데이터들은 확보하기도 어렵지만 의미 있는 결과를 얻을 수 있을 정도로 기술 수준도 충분히 발달하지 못했다. 특히 영어에 비해 한글 텍스트 분석은 더 어렵고 갈 길이 멀다.

개인정보보호에 따른 리스크도 크다. 개인정보는 특정 개인을 식별할 수 없도록 하는 비식별화 조치를 취한 후에 이용할 수 있지만 비식별화가 생각보다 쉽지 않다. 수집되는 데이터 소스가 다양해지고 데이터 마이닝 등 분석 기법이 정교해지면서 개인정보의 비식별화는 점점 더 어려워지고 있다. 또 데이터 과학자에 대한 수요는 급증하고 있는 반면 공급이 수요를 따라가지 못하면서 빅데이터 관련 인력 수급의 불균형 또한 장애 요인이 되고 있다.

빅데이터 활용 방향성 찾다

빅데이터는 분명 기대보다 더딘 5년간의 행보를 보였다. 하지만 5년간의 시행착오를 거치면서 전세계 기업들은 빅데이터 활용의 방향성을 찾아가고 있는 모습이다.

글로벌 조사기관 테크프로리서치가 전세계 318개 업체를 대상으로 설문조사를 실시한 결과, 2015년 3월 기준 전세계 기업의 30%가 이미 빅데이터를 구현하고 활용하는 단계라는 결과가 나왔다. 이는 2013년 20%에 비해 크게 증가한 수치다.

또 LGERI 리포트에 따르면 기업 내부 데이터나 외부 공개 데이터 같이 비교적 손쉽게 얻을 수 있는 데이터를 가지고 의미 있는 결과를 도출한 경우도 있고, 분석하기 어려운 비정형 데이터의 분석 대상을 잘 디자인하여 적지 않은 성과를 거둔 경우도 있다.

아울러 데이터 과학자를 확보하기 위한 국내외의 움직임도 활발하다. 기업, 대학 및 정부에 이르기까지 데이터 과학자를 육성하기 위해 발벗고 나선 상황이다. 빅데이터 분석을 잘하고 있는 것으로 알려져 있는 해외 글로벌 기업들의 경우에는 빅데이터 분석을 외부에 의뢰하기보다는 데이터 과학자 조직을 새로 만들어 활용하고 있는 추세다.

결국 빅데이터는 여전히 당장의 성과보다는 미래를 위한 분석 역량을 축적해가는 과정에 있다고 볼 수 있다. 따라서 분석 역량이 높아질수록 빅데이터의 잠재력이 발현될 것으로 기대되며 스마트폰과 같은 파괴적인 혁신을 일으킬 수 있을 것으로 예상되고 있다.

정리 : 유영민 기자