빅데이터와 머신러닝 그리고 클라우드

한 5년전까지만 해도 빅데이터와 머신러닝(AI)는 크게 비지니스에 영향을 끼치지 못했다.

빅데이터 플랫폼을 구성하기 위한 기술적 난이도(직접 온프렘에 하둡 클러스터 구성)가 너무 어려웠고 인프라 비용도 어마어마했다.

결국 비지니스적으로 ROI가 나오지 않았었다.

머신러닝 역시 마찬가지였다. 정확도가 90%가 넘는다 하더라도 99%가 되지 않으면 산업에서 사용 할 수 없지 않을까? 하고 생각했었으며

머신러닝에 드는 수 많은 인프라를 어떻게 구성해야하는지 (그래픽카드가 너무나 비싸고, 병렬 학습은 어렵다) 여간 쉬운게 아니었다.

 

의도한건지 의도하지 않은건지, 4차 산업 혁명에서 부르는 기술들의 인프라에 대한 문제는 클라우드가 뜨면서 해결되게 되었고 빅데이터와 머신 러닝 모두 이제 학계가 아니라 업계에서 날라다니는 기술이 되었다.

빅데이터를 구성하는 인프라와 머신러닝 수행을 위한 인프라 모두 클라우드가 해결해주었다.

 

자연스럽게 '수집한 빅데이터'는 ETL을 통해 '머신 러닝'에 활용하게 되었고 드디어 산업계에서 '데이터'를 제대로 활용 할 수 있게 되었다.

 

수집된 데이터는 가장 쉽게는 비지니스 인사이트(BI)를 위하여 대쉬보드 구성에 활용될 수 있으며 키바나, 타블루, 파워BI 등 수 많은 BI 툴이 존재 한다.

외에도 공정 지능화, 프로세스 최적화, 서비스 효율 향상, 리스크 관리/신뢰성 증대, 품질 예측 / 조기 감지(예지 정비) 등 수 많은 분야에서 빅데이터와 머신러닝을 활용 할 수 있으며 이 둘은 이제 뗄레야 뗄 수 없는 관계로 붙어 다니는 동시에 그 기반이 되는 '클라우드'는 더욱 더 발전 속도가 빨라지고 있다.

더불어 IoT/스마트 공장, SCM, 로그 등 수 없이 많은 데이터도 이젠 버려지는 것이 아니라 트레이닝 데이터로 사용 될 수 있다.

흔히 제조업에서는
내부 : 로그, 생산, 센서, 매출, 고객, AS, 상담, 이메일, 품질, 부품 등
외부 : SNS, 리뷰, 날씨, 지역, 언론 보도, 인구 통계 등
같은 데이터를 데이터레이크에 몰아넣는 것 만으로 대쉬보드를 구성하여 비지니스 인사이트를 도출하고 이를 분석하여 여러 방면에 활용 할 수도 있게 된 것이다.

맥킨지에서는 다음 10년간, 지난 100년간 발전 한 것 보다 더 눈부신 발전이 있을 것이라 말했다.

앞으로 이 기술들이 어떻게 발전하게 될지 흥미진진하다.