1. 분석모형 전개
(1) 빅데이터 분석 방법론
빅데이터 분석 방법론 참조모델(데이터산업진흥원)은 데이터 분석 프로젝트를 위해 표준적으로 적용할 수 있는 프로세스를 5단계로 정리해서 보여준다.
① 분석기획(Planning) : 분석하려는 비즈니스를 이해하고 분석 목표와 범위를 설정하는 단계이다. 비즈니스 이해 및 범위 설정, 프로젝트 정의 및 계획 수립, 프로젝트 위험계획 수립 등의 작업을 수행한다.
② 데이터 준비(Preparing) : 프로젝트에 필요한 데이터의 범위와 요건을 정의하고 데이터를 수집, 가공, 준비한다. 필요데이터 정의, 데이터 스토어 설계, 수집 및 정합성 점검 등의 작업을 수행한다.
③ 데이터 분석(Analyzing) : 준비단계에서 확보된 데이터를 이용하여 다양한 분석작업을 수행한다. 분석용 데이터 준비, 텍스트 준비, 탐색적 분석, 모델링, 모델 평가 및 검증, 모델적용 및 운영방안 수립 등의 작업을 수행한다.
④ 시스템 구현(Developing) : 개발된 분석 모델을 운영중인 시스템에 적용하거나 프로토타입을 구현할 필요성이 있는 경우 이 단계를 진행한다. 단순한 분석과제에서는 생략할 수 있다. 설계 및 구현, 시스템 테스트 및 운영 등의 작업을 수행한다.
⑤ 평가 및 전개(Deploying) : 모델의 성능을 유지하고 주기적으로 개선하는 노력을 하기 위한 모델발전계획을 수립하고 프로젝트의 성과를 정량적, 정성적으로 평가하고 최종 보고서를 작성한 후 프로젝트를 종료한다.
(2) CRISP-DM
① 비즈니스 이해(Business Understanding) : 비즈니스 관점에서 프로젝트의 목적과 요구사항을 이해하기 위한 단계이다.
② 데이터 이해(Data Understanding) : 분석을 위한 데이터를 수집하고 분석 대상이 되는 데이터의 속성을 이해하고 인사이트를 발견하는 단계이다.
③ 데이터 준비(Data Preparation) : 수집된 데이터에서 분석기법에 적합한 데이터셋을 편성하는 단계이다.
④ 모델링(Modeling) : 분석을 위한 다양한 모델링 기법과 알고리즘을 선택하고 테스트를 통해 최적화해 나가는 단계이다.
⑤ 평가(Evaluation) : 모델링 단계에서 만들어진 분석모델이 프로젝트의 목적에 부합하는 지를 평가하는 단계이다.
⑥ 전개(Deployment) : 완성된 모델을 실제 업무 현장에 적용하는 단계로 전개 계획 수립, 모니터링과 유지보수 계획 수립, 프로젝트 종료 관련 프로세스로 구성된다.
- SEMMA(Sampling Exploration Modification Modeling Assessment) 방법론은 SAS 사의 주도로 통계적 분석에 중심을 두고 있는 방법론으로 샘플링(Sample), 탐색(Explore), 전처리(Modify), 모델링(Model), 평가(Assess)의 총 5단계로 구성된다.
- KDD(Knowledge Discovery in Database) 방법론은 1996년 Fayard가 정리한 데이터마이닝 프로세스로, 주로 데이터베이스 중심 시스템을 대상으로 적용된다. 데이터 추출(Select), 전처리(Preprocessing), 변환(Transformation), 데이터마이닝(Data Mining), 해석/평가(Interpretation/Evaluation)의 5단계로 구성된다.
(3) 전개(Deployment) 단계의 역할
모델의 전개는 개발된 모델을 적용하여 결과를 확인하고 계속적인 관리를 위한 방법을 제시하는 단계로 방법론에 따라 명확하게 포함되지 않는 경우도 있지만 빅데이터 분석 프로젝트가 성공적으로 완료되기 위해 꼭 필요한 프로세스이다.
① 분석결과 활용 계획 수립
② 분석결과 적용과 보고서 작성
③ 분석모형 모니터링
④ 분석모형 리모델링
2. 분석결과 활용 계획 수립
(1) 분석결과 활용계획 수립 개요
- 활용 계획의 경우 분석 목표를 설정할 때 함께 고려되지만, 분석 모델과 결과가 어느정도 완성되면 구체화된 활용계획을 수립하고 적용한다.
- 빅데이터 분석 모델을 성공적으로 도입하더라도 지속적으로 모니터링하고 분석결과를 현업에서 적극적으로 활용해야 하며 계획대로 잘 수행되고 있는지 모니터링해야 한다.
- 빅데이터 관련 정보화 부서와 현업 부서 구성원의 빅데이터 분석 및 활용에 대한 이해를 제고하기 위해 내.외부 교육 훈련 방안을 수립한다.
- 분석모델을 기관 내외부에서 지속적으로 활용하고 발전시킬 수 있도록 기관간 데이터 연계, 데이터 통합, 분석 결과 활용 내용을 포함한 확산 계획도 고려하여 방안을 수립한다.
(2) 분석결과 활용 시나리오 개발
- 빅데이터 분석 과제를 계획하는 단계에서 활용 방안을 미리 수립하게 되며, 전개 단계에서는 계획단계에서 수립된 활용 방안을 시나리오 수준까지 구체화한다. 중장기 활용계획도 수립하고 상세화 해야한다.
3. 분석결과 적용과 보고서 작성
(1) 분석결과 적용과 성과평가
- 빅데이터 분석 결과 활용시 기대되는 성과를 조직 내에서 충분히 공유하고 실무자들에게 분석 결과에 대한 전반적인 내용을 이해시키고 실제 업무에 적용하는 방법 및 활용 방안을 모색한다.
- 실무자가 분석 결과를 업무에 어떻게 적용하였는지 확인하고 개선해야할 사항이 있으면 분석모델 리모델링에 반영할 수 있도록 한다.
- 분석기획단계에서 설정된 기준에 따라 프로젝트의 성과를 정량적, 정성적으로 평가하고 프로젝트 성과 평가서를 작성한다.
(2) 최종보고서 작성
① 프로젝트 개요 : 목표, 범위, 일정, 비용
② 프로젝트 수행 조직
③ 프로젝트 단계별 산출물 요약
④ 성과평가 결과
⑤ 모니터링 및 개선 계획
4. 분석모형 모니터링
(1) 분석 모니터링 필요성
- 빅데이터 분석이 끝나면 각 현업부서에서 분석 결과를 활용하게 되는데, 이때 이전에 수립한 활용방안이 계획대로 잘 수행되고 있는지 모니터링한다.
- 분석 서비스의 안정적인 운영과 현행화된 데이터의 수집, 저장, 관리, 분석 결과의 활용 및 성과 공유 등을 위해 유지관리가 필요하다.
- 조직의 담당자는 과제 종료 이후 제공되는 서비스 내용을 기반으로 유지관리 체크리스트를 활용하여 세부 유지관리 사항을 구체화하여 점검한다.
(2) 분석 모니터링 대상
- 빅데이터 분석은 한 번에 끝나는 프로젝트가 아니라 지속적인 모니터링과 유지관리가 매우 중요하다.
① 분석 모니터링의 주요 대상
- 서비스 : 분석과제 발굴, 활용방안 마련, 성과관리 등
- 분석모델 : 분석 알고리즘 주기, 변수, 소수(데이터 원천) 등
- 데이터 : 현 시점의 현행화 데이터 확인
② 분석 서비스 유지관리의 주요 대상
- 정책/제도 : 조직의 정책/제도 개발 및 적용
- 업무 : 신규 업무 반영, 기존 업무 업그레이드
- 관련 시스템 : 관련 시스템 변경 사항 반영
- 인력 : 업무역량, 책임과 역할, 교육훈련 등
5. 분석모형 리모델링
(1) 분석모형 리모델링 과정
- 분석 모형 리모델링을 위해서 데이터의 수집, 전처리, 분석 방법론, 분석 결과까지 과제 전반에 대하여 보완하거나 새롭게 추가할 사항을 정리하여 개선방안을 도출한다.
- 도출된 개선 방안을 기반으로 리모델링을 위한 계획을 수립하고 수립된 계획에 따라 분석모델 리모델링을 수행한다.
(2) 분석모형 리모델링 방법
- 분석 모형이 변화된 업무와 데이터를 지속적으로 수용할 수 있도록 다음과 같은 리모델링 과정을 진행한다.
① 분석 목적에 기반한 가설 및 추정방법에 대한 재검토
② 분석용 데이터의 범위 및 품질 검토
③ 과대적합과 과소적합 방지를 위한 알고리즘 개선
④ 분석알고리즘과 매개 변수 최적화
⑤ 분석 모형 융합과 재결합