빅데이터 기술은 크게 획득, 저장, 정제, 분석, 예측, 활용의 6 단계로 이루어집니다. 각 단계별로 데이터의 양과 종류, 문제의
특성에
따라 다양한 컴퓨터 소프트웨어가 활용됩니다.
일반적으로 이러한 6단계 작업을 수행하기 위한 기반 시스템으로 클러스터 병렬 컴퓨터가 활용되는데, 이 컴퓨터 시스템은 대당
1000만원
안팎의 컴퓨터 수십 대에서 수천 대를 네트워크로 연결하여 구성합니다.
2005년 이전에는 클루닉스와 같은 슈퍼컴퓨팅 전문기업의 전용 소프트웨어를 사용하여 구축했는데, 2006년 이후에는 구글과 야후
등에서
맵리듀스와 하둡이라는 기술을 공개, 발표함으로써 공개 소프트웨어로 빅데이터 저장 및 분석 시스템이 구축되고 있습니다.
클루닉스는 2007년 SKT의 요구로 국내 최초의 하둡 기반 통신 빅데이터 분석 시스템을 구축, 공급한 이래 G-PAS라는
빅데이터 저장
및 분석 시스템을 개발 공급하고 있습니다.