왜 빅데이터인가?
컴퓨터와 인터넷 기술의 발전은 과거와는 비교가 되지 않을 정도의 데이터를 생산하기 시작했다. 그러나 생산된 데이터를 분석할 수 있는 기술은 한계가 있었다. 분석할 수 있는 데이터는 숫자 형태의 정형화 데이터에 국한되었다. 그러나 실제로 생산되는 데이터의 대부분은 이미지, 텍스트와 같은 비정형 데이터였다. 그리고 실제로 중요한 정보는 이러한 비정형 데이터에 담겨 있었다. 또한 단위 데이터 그 자체로는 가치가 미흡하다. 데이터는 다른 데이터들과 상호 연결될 때 가치를 나타나게 된다. 빅데이터 속에는 수많은 사람들의 실제의 행동과 생각 그리고 욕구가 숨겨져 있다. 누가 먼저 그것을 발견해서 비즈니스화 시키느냐가 현시대 비즈니스의 핵심이 되고 있다. 공공영역은 빅데이터 속에 담긴 국민들의 욕구와 생각을 통해 얼마나 효율적이고 생산적인 정책을 수립하고 운영하느냐가 주된 목적이 되고 있다.

데이터 사이언티스트…
과거와 같이 특정 개인의 경험이나 통찰에 의해 의사결정을 하는 체계는 더 이상 유효하지 않다. 비즈니스 환경 속에서 생산되는 데이터에서 인사이트를 도출하고 이를 기반으로 비즈니스 전략을 수립하는 체계를 구축하는 것이 필요하다. 데이터에서 인사이트를 도출하는 과정이 바로 분석이다. 데이터를 분석하기 위해서는 과거 숫자 데이터 중심에 활용되었던 통계기술에 국한되는 것이 아니라 비정형 형태의 데이터를 분석하기 위한 데이터 마이닝, 머신러닝, 시각화, 인공지능 등의 기술이 적용되어야 한다. 데이터 분석을 통해 인사이트를 도출하는 전문가를 데이터 사이언티스트라고 한다. 한국의 빅데이터 활용 및 운영 수준이 선진국에 비해 뒤쳐지고 있는 이유는 국내 기업이나 공공기관에 데이터 사이언티스트가 거의 없다는 점이다. 데이터 사이언티스트의 역할은 데이터 속에서 비즈니스 가치를 발견하는 것이다. 따라서 데이터 사이언티스트는 애널리스틱스 기술 전문가에 국한된 것이 아니라 현업에 대한 이해도를 보유하고 있는 에널리스틱스 기술 전문가여야 한다. 그 이유는 데이터 분석에 앞서 무엇을, 왜 분석해야 하는 지를 인지하는 것이 비즈니스 가치를 찾아내는 데 가장 중요하기 때문이다.

빅데이터, 어떻게 활용되고 있는가?
스마트 폰, 센서, 인터넷, 컴퓨터는 빅데이터 시대를 활짝 열게 만든 주된 요소들이다. 이들은 시간과 장소에 구애를 받지 않고 데이터를 생산한다. 다시 말하자면 이들 기기를 활용하는 모든 사람들은 이들 기기에 의해 그들의 모든 행동에 대한 흔적을 데이터 형태로 남기게 된다. 빅데이터의 활용에 주목해야 하는 이유가 바로 여기에 있다. 저자는 빅데이터의 활용 방안에 대해 여러 가지를 제시하고 있지만 비즈니스 관점에서 가장 핵심적인 내용이라고 판단되는 몇몇 영역에 대해 소개하고자 한다. 첫 번째는 신규 서비스 분야에 대한 비즈니스 플랫폼 구축 영역이다. 최근 플랫폼 기업들이 우후죽순으로 생겨나고 사라지곤 한다. 플랫폼 기업이 존속하기 위해서는 플랫폼 상에 얼마나 많은 빅데이터를 확보하고 이를 기반으로 서비스를 제공하고 있는지의 여부이다. 플랫폼 상에서 빅데이터는 고객을 끌어당기는 당근과도 같은 역할을 한다. 빅데이터가 비즈니스의 근간이 되지 못하는 플랫폼 기업은 존속이 불가능하다. 두 번째는 서비스 및 상품기획에 있어서 빅데이터의 활용이다. 앞서 언급했지만 빅데이터는 궁극적으로 소비자의 흔적이다. 이러한 흔적을 통해 소비자의 생각과 요구, 그리고 성향을 사전에 파악할 수 있다. 이를 통해 소비자의 긍정적인 경험에 초점을 둔 서비스와 상품을 기획할 수 있는 것이다. 세 번째는 빅데이터를 통해 발생될 수 있는 리스크에 대한 사전 대응체계를 구축할 수 있다는 것이다. 저자는 본 서에 조기 퇴사자가 많은 기업에서 조기 퇴사자들의 활동 유형에 대한 데이터를 분석하여 조기 퇴사자의 수를 30% 이상 감소시킨 사례를 제시하고 있다. 빅데이터는 인공지능과 결합하여 우리의 삶을 더욱 크게 변화시킬 것이다. 그러나 득이 있는 만큼 얼마간의 실도 반드시 존재한다. 향후에는 이러한 실을 어떻게 최소화할 것인가에 대한 고민도 빅데이터의 활용에 못지않은 중요한 고민거리가 될 것이다.

빅데이터… 올바른 이해…
빅데이터가 미래변화의 핵심적인 동인임에는 반론의 여지가 없다. 따라서 이를 제대로 이해하고 활용하기 위한 노력이 필요하다. 상당수의 데이터 분석에서 범하기 쉬운 오류가 상관관계를 인과관계로 오인하는 경우이다. 그래서 상관관계를 도출하고 분석 단계를 종료하는 경우가 적지 않다. 상관관계를 도출해 냈으면 이를 기반으로 인과관계를 찾아내야 한다. 앞서 상관관계를 도출하는 것은 분석기술을 주가 되지만 인과관계는 해당 분야의 전문성이 필요하다. 이것이 데이터 분석에 실무 전문가들이 참여해야 하는 이유이다. 빅데이터는 데이터의 연계를 통해 이루어진다. 데이터가 연계되기 위해서는 데이터의 교류가 필요하다. 그러나 실제로 데이터 교류는 제대로 이루어지지 않고 있다. 이에 대한 가장 큰 이유는 조직 간의 사일로 현상 때문이다. 사일로 현상은 빅데이터 확보에 있어서 가장 큰 장애요인 중의 하나이다. 이를 개선하기 위해서는 데이터 교류에 따른 합리적인 보상체계의 정립이 필요하다. 이를 위해서는 정부차원의 빅데이터 거버넌스 체계의 운영이 필요하다. 궁극적으로 데이터는 소비자의 것이다. 따라서 빅데이터는 기업이나 기관의 중요한 혁신 수단이지만 데이터를 생산하고 제공하는 소비자에게 직접적인 혜택이 일어나는 선순환 구조를 갖추어야 한다.

앞으로는 데이터가 자원이 되는 시대이다. 우리나라는 기술 영역에서는 상당 수준에 이르렀지만 의식 영역에서는 아직 상당히 미흡한 것이 현실이다. 의식혁신의 한계는 궁극적으로 기술혁신까지 정체하게 만든다. 데이터에 기반 한 지능 혁명 시대 속에 살아가기 위해 빅데이터에 대한 올바른 이해는 데이터와 관련된 의식혁명의 출발점이 될 것이다.