[첨단 헬로티]
빅데이터는 “Big” 데이터, 다시 말해서 공룡처럼 어마어마한 규모의 데이터가 아니라 정보의 생성, 양, 주기, 형식 등이 다양하고 방대한 데이터 처리를 의미한다. 최근 PC와 인터넷, 모바일 기기 이용이 생활화되면서 다양한 형태를 가진 많은 정보가 여기저기서 생성되고 기록을 남기고 있습니다.
최근 해외 기업뿐만 아니라 우리나라 기업들도 이 빅데이터를 활용해 고객의 마음을 사로잡기에 여념이 없는 상황이다. 하지만 우리나라의 빅데이터 프로젝트를 추진하는 것을 보면 정말 필요에 의해서 한다는 느낌을 받지 못한다. 왜 그런지 빅데이터 프로젝트를 연구하는 이석주 교수를 만나봤다.
교수님 간단한 자기소개 부탁드립니다.
현재 피큐브아이리서치 대표로 있으며, 현 고려대학교 컴퓨터 정보통신대학원에서 SW 프로젝트 관리, PMO 등 IT/SW 관련 분야를 강의하고 있습니다. 중요 경력으로는 미국 ASU CIM Research Center에서 2년 근무하다 삼성그룹에서 7년, 모토로라 대학에서 6시그마 컨설턴트로 2년, CJ 그룹에서 3년, 그리고 직접 설립한 벤처에서 10여년으로 약 35년의 직장경력과 함께 정부 기관이나 단체의 다른 직책도 맡고 있습니다.
현재 빅데이터 프로젝트의 현황은 어떻습니까?
해외에서는 빅데이터 프로젝트가 활발하게 진행 중에 있지만 우리나라의 경우는 아직 준비 중이라고 볼 수 있습니다. 활발하게 진행하고 있는 글로벌의 경우 약 29% 기업이 빅데이타에 관심을 갖고 있지만 우리의 경우 5% 정도의 기업만이 관심을 갖고 있는 상황입니다.
해외의 경우 빅데이타가 과잉선전으로 지나치게 ‘거품화’ 되었다가 이제는 거품이 빠지면서 실질적인 문제가 대두되고 있으며 다양한 해결방안도 연구되고 있습니다.
일반적으로 프로젝트의 20%가 종료되지 못하는 있는데 비해 빅데이타의 경우, 50~55% 이상의 프로젝트가 종료되지 못하고 있다고 많은 해외 자료가 보여주고 있습니다. 그 외에 빅데이타는 반복성, 복잡성, 대규모 등의 특성으로 프로젝트 중에서 성공률이 가장 낮다고 하는 IT 프로젝트의 성공률보다 더 낮은 것이 현실(대략 20%)입니다.
우리나라의 빅데이터 프로젝트랑 해외의 빅데이터 프로젝트의 문제점은 무엇일까요?
몇 가지를 들 수 있겠습니다만, 우선 빅데이타에 대한 무관심과 IT 부서에 의한 프로젝트 추진입니다. 데이터관련 프로젝트를 실행함에 있어 데이터를 신뢰하지 못한다는 것에 이유가 있습니다. 다시 말해서 신뢰할 수 없거나 정확한 정보가 아닐 수도 있다는 말입니다. 이 경우 빅데이타 프로젝트를 추진해도 기업이 원하는 결과를 얻을 수 없습니다. 또 생성되거나 보유한 데이터는 많은데 빅데이터 분석에 사용하기에는 적합지 않은 것들이 많기 때문입니다. 빅데이타 프로젝트에 사용할 수 있는 데이터는 추진의 목적에 맞는 데이터 이어야 합니다. 심지어 문제가 많은 업무 프로세스에서 발생된 데이터를 사용할 수 있습니다. 통상적으로 업무 프로세스 중에 기업에 도움이 되는 프로세스는 25%이고 나머지 프로세스들은 기업에 가치를 주지 않는 Non value added(NVA) 프로세스 들입니다. 그 양이 전체의 75% 정도라고 합니다.
이러한 NVA 프로세스에 포함된 데이터들이 빅데이타 프로젝트에 포함될 경우 데이터 수집이나 저장, 분석과정 중에 많은 문제가 발생하는 것입니다. 데이터가 중복되거나 데이터 비정형등으로 분석 결과 및 그 해석에 영향을 주게 됩니다. 빅데이타 프로젝트 전체 기간 중 데이터 수집과 저장에 60%정도 소요되는 것도 이와 무관하지 않습니다. 최근 이를 위한 문제 제기가 해외에서 발표되고 있습니다.
또 다른 이유로 IT/시스템 부서에 의해 빅데이터 프로젝트가 추진되는 경우가 많습니다. 저는 빅데이타 프로젝트 결과를 사용할 부서가 추진해야 한다고 생각하고 있습니다. 이것은 빅데이터에 대한 정확한 이해가 안 되어있기 때문입니다. 분석해서 결과가 나온다 해도 기업의 전략적인 방향이나 손익에 어떤 영향을 끼치는지 알 수 없기 때문입니다.
우리나라 대부분의 기업은 이렇게 IT/시스템 부서에 프로젝트를 맡아 하는 경우가 많습니다. 결국 사용자가 아니기에 빅데이터에 대해 이해를 하지 못하게 되는 경우가 많고, 시스템 구축하듯이 일을 추진해 버리기에 그 결과의 끝은 좋지 않습니다. 심지어는 SW 개발자가 빅데이터 프로젝트를 추진하는 경우가 많습니다. 결국 이런 프로젝트를 왜 해야 되는지 모른 상태에서 진행하는 경우가 많기 때문에 문제점이 발생하는 것입니다.
마지막으로 국내 전문가의 부족인데 해외보다 3배 이상 심각한 수준입니다. 해외의 경우에도 필요한 수요의 1/3 정도만 공급되고 있기 때문입니다. 그 이유로 빅데이타 전문가의 경우, 관련 분야의 업무를 이해하고 아울러 데이터 분석도 가능할 정도의 통계지식이나 모델링 방법도 숙지해야 하기 때문입니다. 예를 들어 금융기관에서 빅데이타 프로젝트를 할 경우 금융도 알고 데이터 분석도 하는 전문가가 필요합니다.
우리나라에서 빅데이터 프로젝트를 성공하려면 어떤 부분들을 알고 인지하고 있어야 될까요?
첫 번째는 기업의 경영자들의 생각이 바뀌어야합니다. 수많은 조사 결과는 그들은 의사결정시 분석된 데이터에 의한 결정보다는 자신들의 경험 노하우 등에 의존하는 경우가 많다고 보여 주고 있습니다. 이 부분은 정말 중요합니다. 대부분의 기업들이 필요성을 인지하지 못하는 상황에서 주위에서, 경쟁회사에서 하니까 우리도 한번 해보자는 식으로 진행을 하죠. 이것은 잘못된 것입니다. 전략적으로 추진할 이유가 충분할 때 진행을 해야 합니다. 빅데이타 프로젝트 추진에는 그만큼 귀중 시간과 많은 돈이 투자되기 때문입니다.
그리고 빅데이터를 사용할 부서에서 일을 진행해야 성공 가능성이 높아집니다. 위에 언급했듯이 IT/시스템 부서에서 추진할 것이 아니라 관련 데이터를 인지하고 있고 사용할 수 있는 부서에서 추진하게 하자는 것입니다. 중요한 것은 빅데이터를 이용해 분석되어 나오는 결과를 기업 경영에 반영해 기업의 생존 또는 성장에 도움이 되어야 합니다.
마지막으로 조언할만한 내용이 있다면 한 말씀 부탁드립니다.
우선 기업의 경영자나 CEO의 경우 문제 해결을 위해 요술램프나 도깨비 방망이 같은 해답을 원합니다. 빅데이터도 수많은 기업의 문제를 해결해주는 만병통치약처럼 알고 계시는 분들이 많습니다. 빅데이터도 문제를 해결하는데 사용하는 하나의 방법일 뿐 그 이상도 그 이하도 아닌 것이죠. 그러나 빅데이터의 경우 기업내부의 자료뿐만 아니라 소셜데이터 등 외부의 데이터를 활용해 다면적으로 기업의 문제를 찾고 해결하는 이점이 있습니다. 그러나 분명한 것은 문제 해결 의지에 대해 기업의 경영자나 CEO가 절실하게 생각해야 합니다. 빅데이터 프로젝트의 경우 원하는 결과를 얻을 때까지 통상 오랜 기간이 소요되기 때문에 철저히 준비를 하지 않고 진행할 경우 분석이 되어도 기업에 사용할 수 없는 경우가 많기 때문입니다.
정말 필요에 의해서 진행하시기를 권장합니다.
그 외에도 프로젝트 추진 조직이나 프로젝트 추진 계획을 체계적으로 수립해야 합니다. 빅데이타 프로젝트를 종종 빅뱅식으로 추진하는 경우를 보는데 프로젝트 성공의 관점에서 보면 단계적으로 추진하는 것이 훨씬 좋습니다. 그리고 시작은 확실하고 작게 하면서 불확실한 요인을 제거하면서 진행하는 것이 좋습니다.
그리고 기업 대표 분들에게 말씀드리고 싶습니다. 빅데이터 프로젝트의 성공적인 추진을 위해 해당 업무를 알고 있는 분석가를 내부에서 육성하는 것이 바람직합니다. 아울러 빅데이터 추진 전 우리 기업이 갖는 문제와 중요 이슈에 대해 철저히 검토해 보시고 추진을 결심하였다면 현재 업무가 갖고 있는 비부가가치적인 요인을 제거하고 프로젝트를 추진하시기 바랍니다. 앞서 설명하였듯이 NVA 프로세스가 소유한 데이터를 제거하고 프로젝트를 추진하기를 권장합니다. 이 경우 돈과 시간 모두 절약할 수 있으며 나오는 결과 또한 보장되기 때문입니다.
