빅데이터 전쟁: 쓰레기가 될 것인가, 다이아몬드가 될 것인가

빅데이터로 경영하라

구글의 수석 경제학자 할 배리언(Hal Ronald Varian, 1947-)은 일찍이 다음과 같이 예견한 바 있다."데이터를 확보하고, 이해하며, 처리하고, 가치를 추출하여, 효과적으로 전달하는 능력이야말로 향후 10년간 가장 중요한 역량이 될 것이다."

그는 또한 "정보기술은 세계를 평평하게 만든다. 컴퓨터가 더욱 저렴하고 강력해지며 네트워크로 연결되면서, 소규모 기업들조차 과거 대기업만이 누릴 수 있었던 기술을 활용할 수 있게 되었다"고 주장했다. 이는 첨단 기술의 접근성이 대폭 향상되면서, 기업 규모에 관계없이 동일한 수준의 기술을 활용할 수 있는 환경이 조성되었음을 의미한다.

데이터가 지배하는 세상, 빅데이터 경쟁에서 살아남기

재정 위기, 기후 변화, 에너지, 환경, 안보, 빈곤 문제 등 시급한 현안이 산적한 상황에서 왜 빅데이터가 주목받는 것일까? 전 세계적으로 폭증하는 데이터를 효과적으로 관리하고, 그 속에서 유의미한 정보를 추출해내는 기술에 대한 수요가 증가하는 것은 필연적인 결과다. 빅데이터는 국방부, 국토안보부, 에너지부, 보훈부, 보건인적서비스부, 항공우주국, 국립과학수사국 등 광범위한 분야에서 활용되며 그 경쟁력을 입증하고 있다.
그렇다면 빅데이터가 무엇이기에 전 세계의 이목이 집중되는 것일까?

세상에는 데이터가 넘쳐나고, 이를 활용할 수 있는 도구 역시 급증했다. 그 결과 빅데이터는 인터넷 이후 기업에 가장 큰 영향을 미칠 기술로 평가받고 있다. 사회는 그 어느 때보다 방대한 데이터를 보유하고 있으며, 폭발적으로 증가하는 데이터를 관리하고 활용하기 위해 다양한 도구를 동원하고 있다.

미국 포춘 500대 기업들은 평균 7~10년간 축적된 방대한 고객 데이터를 보유하고 있지만, 여전히 이를 제대로 활용하지 못하고 있다고 한다. 기업 간 경쟁은 이제 데이터 전쟁으로 변모했다. 주변에 산재한 수많은 데이터로부터 누가 더 빠르게 유용한 통찰력과 지식을 발굴하느냐의 경쟁이 시작된 것이다. 정보기술의 발전 역시 이러한 방향으로 진화하고 있다.

기업이 빅데이터를 활용하는 것은 결코 쉬운 일이 아니지만, 그만큼 기회도 열려 있다. 빅데이터의 위력은 이미 과학 분야에서 입증되었다. 과학 분야에서는 데이터 없이 의미 있는 발견이 불가능하다. 과학은 실물 그 자체가 아니라 실물에서 파생된 데이터를 연구 대상으로 삼기 때문이다. 시장, 경쟁사, 고객, 제품, 서비스가 모두 데이터로 존재할 때 비로소 의미를 갖는 시대, 그것이 바로 빅데이터 시대다.

결국 빅데이터는 사람들이 데이터 활용을 얼마나 진지하게 받아들이는지 시험하는 무대가 되고 있다. 요컨대 빅데이터는 어떤 의도와 의지를 가지고 접근하느냐에 따라 쓰레기도, 다이아몬드도 될 수 있음을 명심해야 한다.

빅데이터의 분석 및 활용

병원 가지 않아도 된다: 빅데이터가 바꾼 의료의 미래

마이크로소프트 연구원들은 의학 지식을 갖추고 있었지만, 철저히 데이터 중심으로 예측 모형을 분석했다. 이들은 병원의 전산화된 기록에서 환자 30만 명의 수백 가지 요인 데이터를 수집했다. 그리고 이들 데이터 간의 광범위한 연관 관계와 영향 모형을 추출하고, 인공지능 알고리즘을 활용해 정확도를 높이는 분석 기법을 적용하여 예측 모형 개발에 성공했다. 달리 말하면, 수많은 개인의 건강 상태와 진료 경험에 대한 빅데이터가 없었다면, 그리고 연구원들이 이를 능숙하게 다룰 수 있는 데이터 분석 능력을 갖추지 못했다면 불가능했을 성과다.

국내외 병원과 의원의 전자 의료 기록을 표준화하여 광범위한 의료 빅데이터가 수집되고 있다. 그 안에 포함된 각종 개인 속성, 진단 및 처방 기록, 재무 데이터 등을 분석해, 의사와 간호사에게는 개인별 맞춤형으로 보다 정확한 진단을 내릴 수 있도록 의사결정을 지원하고, 환자들에게는 병원 방문 없이도 건강 기록을 확인하고 간편하게 상담받을 수 있는 온라인 서비스를 제공하고 있다.

그 결과 내원 환자 수는 감소했고, 운영 효율과 서비스 만족도는 높아졌다. 나아가 고질적인 고비용 의료 문제에 대한 해결책으로 빅데이터 기술이 활용되고 있다.

공공데이터포털
https://www.data.go.kr
: 국가에서 보유하고 있는 다양한 데이터를 공유 및 활용할 수 있다.

국가통계포털
https://kosis.kr
: 국내·국제·북한의 주요 통계를 한 곳에 모아 이용자가 원하는 통계를 한 번에 찾을 수 있도록 통계청이 제공하는 One-Stop 통계 서비스이다.

문제는 기술이 아니라 의지다

빅데이터 시대, 성공의 열쇠는 데이터를 얼마나 진지하게 받아들이느냐에 달려 있다. 의료 분야에서 입증되었듯이, 방대한 데이터와 이를 분석하는 능력이 결합될 때 비로소 혁신적인 성과가 창출된다. 이제 기업의 규모와 상관없이 누구나 빅데이터 기술에 접근할 수 있는 환경이 조성되었다. 문제는 기술이 아니라 의지다. 당신은 데이터를 쓰레기로 남겨둘 것인가, 아니면 다이아몬드로 만들어낼 것인가?