빅데이터를 활용한 ‘생각하는 컴퓨터’의 발전

빅데이터는 많은 이들의 주목을 받으며 다양한 시도가 진행되고 있다. 그러나 정보혁명이라는 커다란 흐름 속에서 그 본질에는 ‘생각하는 컴퓨터’의 발전이 존재한다. 그리고 이를 추진하는 수단이 바로 데이터 수집, 집적과 이를 통한 분석, 활용이다.

정보혁명은 3가지 흐름으로 발전하고 있다. 제1의 흐름은 데이터의 디지털화와 컴퓨터를 이용한 고속처리이다. 제2의 흐름은 인터넷과 WWW(World Wide Web)의 개발을 계기로 한 넓은 의미에서의 커뮤니케이션 발전이다. 마지막으로 제3의 흐름은 빅데이터 활용에 따른 인식․이해․판단의 진화이다. 필자는 이러한 흐름의 기원을 1991년 마크 와이저(Mark Weiser, 제록스 팔로알토 연구소)가 제창한 유비쿼터스 컴퓨팅과, 1999년 케빈 애슈턴(Kevin Ashton)이 제창한 사물인터넷(Internet of Things)이라고 보고 있다.

그러나 기술적인 빅데이터 활용의 강력한 추진 역할을 한 것은 2004년 구글이 발표한 대규모 데이터 분산 처리와 관련된 논문을 베이스로 개발한 하둡(Hadoop)이다. 하둡은 데이터 처리 속도의 초고속화에 크게 공헌했으며, 이를 기반으로 빅데이터로부터 유용한 ‘지식’을 끌어낼 수 있는 기계학습이나 통계해석기술, 언어를 해석․이용하는 자연언어 처리기술 등 다양한 기술이 고도화됐다.

컴퓨터의 새로운 능력을 활용하는 사회에 대비하기 위해 네덜란드나 북유럽 등을 중심으로 창조력과 커뮤니케이션력을 높일 수 있는 교육이 시작됐다. 제3의 흐름의 발전은 교육뿐 아니라 농업, 건강 관리/의료, 법무, 에너지, 인프라 관리, 교통, 방재, 제조, 유통/소매 등 사회 전 분야에서 더디기는 하지만 커다란 변화를 가져올 것이다. 이번 글을 통해 이러한 변화를 인식하는 데 도움이 되었으면 한다.