1 분석 기획 방향성 도출

분석기획 : 실제 분석 수행 , 수행할 과제의 정의 의도했던 결과를 도출할 있도록 관리할 사전 방안을 계획하는 작업

어떠한 목표(What) 달성하기 위해서(Why) 어떤 데이터를 가지고 어떤 방식으로(How) 수행할지 계획 수립

 

1. 분석 기획의 특징

-IT  기술 분석 기법에 치우치는 경향을 조심해야함, 균형잡힌 시각을 가지고 방향성 계획 수립

1) Math&Statistics

2) Information Technology

3) Domain Knowledge

 

- 분석의 대상(what) 분석의 방법(how) 따른 분석 주제 유형

1) 최적화(Optimization) : 분석 대상을 인지하고, 해결 방법도 알고 있는 경우

2) 솔루션(Solution) : 분석 대상은 인지했으나, 해결 방법을 모르는 경우

3) 통찰(Insight) : 분석 대상은 모르나, 기존 분석 방식 활용할 경우

4) 발견(Discovery) : 분석 대상도 모르고, 분석방법도 모르나 자체적으로 새롭게 도출 경우


최적화로 접근했지만 새로운 유형 발견하거나 새로운 솔루션 도출 하는 경우도 발생, 넘나듬

 

- 목표 시점 분석 기획 방안

- 과제 중심적인 접근 방식 : 과제 단위로 명확한 해결 위해 Quick - Win 방식

- 장기적인 마스터 플랜 방식 : 분석 문화 내재화를 위해 전사적이고 장기적 관점이 바람직함

- 문제해결을 위한 단기적인 접근방식과 분석과제 정의를 위한 중장기적인 마스터 플랜 접근 방식 융합

 

당면한 분석 주제의 해결

(과제 단위)

지속적 분석 문화 내재화

(마스터 플랜 단위)

1 목표

Speed & Test

Accuracy & Deploy

과제의 유형

Quick-Win

Long Term View

접근 방식

Problem Solving

Problem Definition

 

- 의미있는 분석 : 분석기술, IT 프로그래밍, 분석 주제 도메인 전문성, 의사소통, 마스터 플랜 도출

- 분석가 3가지 기본 역량 + 프로젝트 관리 역량, 리더십 역랑 필요

 

2. 분석 기획 고려사항

 

1) 가용한 데이터

: 데이터 확보가 필수적, 유형에 대한 분석이 우선시 되어야

- 정형데이터(DB 자료) / 비정형데이터(문자형) / 반정형데이터(스트리밍, 머신데이터 )

2) 적절한 유스케이스

: 바퀴를 재발명하지 마라, 기존에 구현되어있는 유사 솔루션 활용 공감대 얻음

3) 분석과제 수향을 위한 장애 요소

: 정확도를 위해 기간, 비용 상승 / 분석가만 이해하는 것이 아니라 사용자가 쉽게 사용할수 있는

: 실제 환경에서 갑작스러운 문제 발생에 대한 고려 / 일회성 분석이 아닌 조직 내재화를 위한 교육, 문화화


 

 

2 분석 방법론

 

1. 분석 방법론 개요

- 합리적의 의사결정이 장애물 : 고정관념, 편향된 생각, 프레이밍효과(동일한 상황에서 개인 판단이 변화)

체계화한 절차와 방법이 정리된 데이터 분석 방법론의 수립 필수적

: 상세한 절차, 방법, 도구와 기법, 템플릿과 산출물로 구성되어 어느정도 지식만 있음 활용 가능함

 

- 방법론 생성과정 : 선순환 과정을 통한 조직내 방법론 완성


 

- 방법론에 따른 다양한 모델

1) 폭포수 모델 : 순차적으로 진행하는 방법, 하향식모델, 단계 돌아가는 피드백 과정 수행

2) 나선형 모델 : 반복을 통한 점증적 개발 방법, 처음 시도하는 프로젝트 적용, 복잡도 상승 가능성

3) 프로토타입 모델

 

- 계층적 프로세스 모델

1) 단계(Phase) : 최상이 계층, 프로세스 그룹을 통해서 완성된 단계별 산출물 생성

  단계를 기준선으로 설정되어 관리, 버전관리 등을 통한 통재

2) 태스크(Task) : 단계는 태스크로 구성, 단위활동으로 물리적 또는 논리적 단위로 품질 검토 항목

3) 스텝(Step) : WBS(Work Breakdown Structure) 워크패키지에 해당

입력자료, 처리 도구, 출력자료로 구성된 단위 프로세스


 

2. KDD 분석 방법론

: Knowledge Discovery in Databases, 1996 Fayyad 체계적으로 정리한 데이터 마이닝 프로세스

: 데이터베이스에서 의미있는 지식 탐색하는 데이터 마이닝, 기계학습, 인공지능, 패턴인식, 시각과 응용가능

 

- 데이터 패턴 분석 절차

• 분석 대상 비즈니스 도메인의 이해

• 분석 대상 데이터셋 선택과 생성

• 데이터에 포함되어 있는 노이즈(Noise)와 이상값(Outlier) 등을 제거하는 정제작업이나 선처리

• 분석 목적에 맞는 변수를 찾고 필요시 데이터의 차원을 축소하는 데이터 변경

• 분석 목적에 맞는 데이터 마이닝 기법 선택

•분석 목적 에 맞는 데이터 마이닝 알고리즘 선택

• 데이터 마이닝 시행

데이터 마이닝 결과에 대한 해석

• 데이터 마이닝에서 발견된 지식 활용


 

1) 데이터셋 선택(Selection)

비즈니스 도메인에 대한 이해와 프로젝트 목표 설정

선택 프로세스를 통한 데이터 마이닝에 필요한 목표 데이터 구성, 요구되는 경우 반복 가능

2) 데이터 전처리(Preprocessing)

데이터셋에 포함되어 있는 잡음과 이상값, 결측치 식별, 필요시 제거 → 정제작업, 반복가능

3) 데이터 변환(Transformation)

분석 목적에 맞는 변수를 선택, 데이터의 차원 축소, 마이닝 가능한 데이터 셋으로 변경하는 프로세스 수행

4) 데이터 마이닝(Data Mining)

분석 목적에 맞는 데이터 마이닝 기법 알고리즘 선택 데이터 패턴 찾거나 분류 또는 예측 작업 시행

필요에 따라 전처리, 변환 프로세스 병행 가능

5) 데이터 마이닝 결과 평가(Interpretation/Evaluation)

결과에 대한 해석과 평가, 분석 목적과의 일치성 확인, 전체과정 반복 수행 가능

 

3. CRISP-DM 분석 방법론

: Cross Industry Standard Process for Data Mining, 1996 유럽연합 프로젝트에서 시작

: 계층적 프로세스 모델로 4 레벨 구성

 

1) 단계 : 최상위 레벨, 일반화 태스크를 단계별로 포함

2) 일반화 태스크 : 데이터 마이닝의 단일 프로세스를 완전하게 수행하는 단위

3) 세분화 태스크 : 일반화 태스크를 구체적으로 수행하는 레벨

ex) 데이터 정제의 일반화 태스크 범주형 또는 연속형 데이터 정제로 구체화 세분화 실행

4) 프로세스 실행 : 데이터 마이닝을 위한 구체적인 실행


 

- 프로세스 6단계 (폭포수 모델과 같은 일방향 아님, 단계 피드백 통해서 단계별 완성도 높힘)

1) 업무 이해

도메인 지식을 데이터 분석을 위한 문제 정의로 변경, 초기 프로젝트 계획 수립

- 업무 목적 파악, 상황 파악, 데이터마이닝 목표 설정, 프로젝트 계획 수립

2) 데이터 이해

데이터 수집, 속성 이해하기 위한 과정, 품질에 대한 문제점 식별, 인사이트 발견

- 초기 데이터 수집, 데이터 기술분석, 데이터 탐색, 데이터 품질 확인

3) 데이터 준비

적합한 데이터 셋을 편성하는 단계, 많은 시간 소요

- 분석용 데이터 선택, 데이터 정제, 분석용 데이터셋 편성, 데이터 통합, 데이터 포맷팅

4) 모델링

모델링 기법, 알고리즘 선택, 파라미터 최적화 단계, 필요한 경우 데이터 준비 단계 반복

테스트용 프로세스와 데이터셋으로 평가하여 모델 과적합 등의 문제 발견, 대응 방안마련

- 모델링 기법 선택, 모델 테스트 계획 설계, 모델 작성, 모델 평가

5) 평가

프로젝트 목적에 부합하는지 평가, 데이터 마이닝 결과를 수용할 최종 판단하는 과정

- 분석결과 평가, 모델링 과정 평가, 모델 적용성 평가

6) 전개

업무에 적용하기 위한 계획 수립, 모니터링과 유지보수 계획 마련

도메인, 데이터 품지, 운영 모델 등에 따라 생명주이 다양 상세한 전개 계획 필요 종료

- 전개 계획 수립, 모니터링과 유지보수 계획 수립, 프로젝트 종료보고서 작성, 프로젝트 리뷰


 

4. 빅데이터 분석 방법론

 

빅데이터를 분석하기 위한 방법론 : 계층적 프로세스 모델(단계-태스크-스탭)


 

1) 분석 기획

. 비즈니스 이해 범위 실행 : 비즈니스 이해, 도메인 문제점 파악

- 비즈니스 이해 : 도메인 이해, 업무 전문가의 지식 필요, 문제점 파악 필요

- 프로젝트 범위 설정 : 범위를 명확하게 설정, 모든 관계자 이해 일치, 프로젝트 범위 정의서 SOW

. 프로젝트 정의 계획 수립 : 프로젝트 범위 확정 단계, 진행의 기준선 설정

- 데이터 분석 프로젝트 정의 : 목표, KPI 등을 구체화한 정의서 작성, 평가 기준 설정

- 프로젝트 수행 계획 수립 : 수행 계획서 WBS 작성(목적, 배경, 기대효과, 방법, 일정, 조직, 방안 )

. 프로젝트 위험 계획 수립 : 인프라 구축 병행, 기존 시스템과 인터페이스 동반 등의 위험 요소

- 데이터 분석 위험 식별 : 산출물, 정리자료, 전문가 판단을 활용 위험식별, 우선순위 설정

- 위험 대응 계획 수립 : 위험 관리 계획서 (회피, 전이, 완화, 수용 구분된 대응 방안 수립)

 

2) 데이터 준비

. 필요 데이터 정의 : 모든 사람이 함께 작성

- 데이터 정의 : 다양한 원천 데이터 소스로부터 데이터 정의서 작성

- 데이터 획득방안 수립 : 데이터 수집에 따른 구체적 방안 수립 (/외부 데이터 획득 방안)

. 데이터 스토어 설계 : 프로젝트 별로 필요한 데이터 정의하여 전사 차원의 스토어 설계

- 정형 데이터 : 구조화된 형식, DBMS 사용, 논리적 물리적 설계 구분하여 설계

- 비정형 데이터 : 하둡, NoSQL사용, 논리적 물리적 설계 구분하여 설계

. 데이터 수집 정합성 점검 : 품질 통제와 품질 보증 프로세스 수행

- 데이터 수집 저장 : 크롤링 ETL도구, API, 스크립트 프로그램 이용, 데이터 스토어 저장

- 데이터 정합성 점검 : 품질점검을 통한 정합성 확보, 보완작업 진행

 

3) 데이터 분석 : 수립된 프로젝트 목표를 달성하기 위해, 적당한 데이터셋이 없음 준비단계 반복 수행

. 분석용 데이터 준비 : 데이터셋 준비

- 비즈니스 확인 : 프로젝트 목표 확인, 비즈니스 파악

- 정형, 비정형 데이터 추출 분석 가능하도록 구조화된 형태로 구성, 작업공간에 분리

. 텍스트 분석 : 비정형 데이터 존재할 경우, 정형데이터와 통합 모델링 수행

- 텍스트 데이터 확인 추출 : 비정형 데이터 데이터 스토어 확인 추출

- 텍스트 데이터 분석 : 용어 사전 확보, 텍스트 시각화 도구 활용 의미 전달 명확

. 탐색적 분석

- 탐색적 데이터 분석 : 기초통계랑 산출, 데이터 자체 특성(중심성, 분포성, 산포성) 기초자료 준비

- 데이터 시각화 : 시스템화를 위한 시각화, 사용자 인터페이스, 프로토타입 활용

. 모델링 : 가정설정을 통해 통계 모델을 만들거나, 기계학습을 이용한 수행 모델 만드는

- 데이터 분할 : 데이터 셋을 훈련용과 테스트용으로 분할, 교차검증, 앙상블 기법 적용

- 데이터 모델링 : 분류, 예측, 군집 등의 모델 만들어 운영 시스템 적용, 통합 모델링 수행

- 모델 적용 운영 방안 : 알고리즘 설명서 작성, 의사코드 수준의 상세한 작성 필요, 모니터링

. 모델평가 검증

- 모델 평가 : 정의서 평가 기준에 따라 객관적 평가, 별도이 데이터 활용해서 분석

- 모델 검증 : 검증용 데이터 이용 모델 검증 작업 실시, 보고서 작성, 운영용 데이터로 최종 검증

. 모델적용 운영방안 수립

 

4) 시스템 구현

. 설계 구현 : 소프트웨어 개발 생명주기 SDLC 기업내 시스템 방법론 커스터마이징하여 적용

- 시스템 분석 설계 : 응용시스템 구축 설계 프로세스 진행

- 시스템 구현 : BI 패키징 활용, 운영시스템의 커스터마이징 통해 설계된 모델 구현

. 시스템 테스트 운영 : 운영중인 시스템에 적용하거나 프로토타입을 구현하고자 하는 경우

- 시스템 테스트 : 단위/통합/시스템 테스트 실시, 객관성과 완전성 확보

- 시스템 운영 계획 : 운영자, 사용자를 대상으로 필요한 교육을 실시하고 시스템 운영계획 수립

 

5) 평가 전개

. 모델 발전 계획 수립 : 모델의 생명주기 설정하고 주기적 평가 실시, 업데이트 자동화 방안

- 모델 발전 계획 : 지속적인 운영과 기능 향상을 위한 발전계획 수립, 계속성 확보

. 프로젝트 평가 보고 : 분석 기획 단계의 목적 달성 여부 평가, 자산화 진행

- 프로젝트 성과 평가 : 정량적, 정성적 성과로 나눠 성과 평가서 작성

- 프로젝트 종료 : 최종 보고서 작성, 지식 자산화 실행, 의사소통 절차에 따른 보고

 

3 분석 과제 발굴

 

- 하향식 접근 방법(Top Down Approach)

문제가 먼저 주어지고 해답을 찾기 위해 과정이 체계적으로 단계화 되어 수행하는 방식

전통적으로 수행되던 분석 과제 발굴 방식, 하지만 기업환경에서 문제를 사전 정의가 어려워짐

인사이트 도출과 시행착오를 통한 개선이 필요해짐

- 상향식 접근 방법(Bottom Up Approach)

정의가 어려운 경우 데이터를 기반으로 문제 재정의, 해결방안 탐색하고 지속적으로 개선하는 방향

하양식에서 상향식으로 유용성이 점차 증가하고 있는 추세

 


 

- 디자인 사고 프로세스(IDEO)

가능한 옵션 도출하는 상향식의 발산 단계와 분석하고 검증하는 하향식의 수렴 단계 반복적 수행

상호보완, 동적인 환경에서 가치 있는 최적의 의사결정 방식

 


 

 

1. 하향식 접근법

- 현황 분석, 인식된 문제점, 전략으로부터의 기회나 문제 탐색하고

해당 문제를 데이터의 문제로 정의

해결방안 탐색

데이터 분석의 타당성 평가, 분석과제 도출


 

 

1) 문제 탐색 단계

전체적인 관점의 기준 모델 활용 - 비즈니스 모델, 외부 참조 모델

문제를 해결함으로써 발생하는 가치에 중점을 두는 것이 중요

 

. 비즈니스 모델 기반 문제 탐색

- 비즈니스 모델이란 활용, 가치 창출 누락 없이 도출 가능

- 업무, 제품, 고객 단위 문제 발굴 + 규제와 감시, 지원 인프라의 영역으로 기회 추가로 도출


- 업무 : 제품 및 서비스를 생산하기 위해서 운영하는 내부 프로세스 및 주요 자원 관련 주제 도출

예) 생산 공정 최적화, 재고량 최소화 등

- 제품 : 생산 및 제공하는 제품·서비스를 개선하기 위한 관련 주제 도출

예) 제품의 주요 기능 개선,  서비스 모니터링 지표 도출 등

- 고객 : 제품·서비스를 제공받는 사용자 및 고객 이를 제공하는 채널의 관점에서 관련 주제 도출

예) 고객 Call 대기 시간 최소화, 영업점 위치 최적화 등

- 규제와 감사 : 제품 생산 및 전달 과정 프로세스 중에서 발생는 규제 및 보안의 관점에서 주제 도출

예) 제공 서비스 품질의 이상 징후 관리, 새로운 환경 규제 시 예상되는 제품 추출 등

- 지원 : 인프라 분석을 수행하는 시스템 영역 및 이를 운영 ·관리하는 인력의 관점에서 주제 도출

예) EDW 최적화, 적정 운영 인력 도출 등

 

 

- 혁신 : 새로운 문제의 발굴 장기적인 접근을 위해서 기업이 현재 수행하고 있는 비즈니스 뿐만 아니라

    환경과 경쟁 구도의 변화 역량의 재해석을 통한 '혁신'관점에서 분석 기회를 추가 도출

    거시적 관점, 경쟁자 동향, 시장의 니즈 변화, 역량의 재해석 새로운 관점 접근 필요

1) 거시적 관점 : 메가트렌드, 사회 경제적 요인 STEEP

- 사회, 기술, 경제, 환경, 정치

2) 경쟁사의 동향 : 대체재와 신규 진입자 등의 관점 확대하여 분석 기회 발굴의 폭을 넓힘

- 대체재, 경쟁자, 신규 집입자

3) 시장의 니즈 탐색 : 고객과 접촉하는 채널, 의사결정에 영향을 미치는 영향자들에 대한 관점

- 고객, 채널, 영향자들

4) 역량의 재해석 : 보유한 역량 + 해당 조직에 영향을 끼치는 파트너

- 내부역량, 파트너와 네트워크

 

 

. 외부 참조 모델 기반 문제 탐색

- 벤치마킹, 새로운 문제 발굴을 위해서는 동종 환경의 기존 수행한 분석 과제 살펴보기

- 후보 그룹을 통해 'Quick&Easy'방식으로 브래인스토밍을 통해 빠르게 도출

- 산업을 불문하고 분석 사례를 기반으로 분석하고 기회 고려

 

. 분석 유즈 케이스 정의

- 동종 사례를 통해 찾아낸 분석 기회들을 구체적인 과제로 만들기 위해

- 문제에 대한 설명, 발생하는 효과 명시하여 향후 데이터 분석 문제로의 전환 적합성 평가에 활용

 

2) 문제 정의 단계

- 식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계

- 필요한 데이터 기법을 정의하기 위한 데이터 분석의 문제로 변환 수행

- 최종 사용자 관점에서 이루어져야함


3) 해결방안 탐색 단계

- 정의된 데이터 분석 문제를 해결하기 위한 다양한 방법 모색

- 소요되는 예산 활용 가능한 도구에 따른 다각도 고려 필요

- 인력을 채용하거나 분석 전문 업체 활용

 

4) 타당성 검토 단계

- 도출된 분석 문제나 가설에 대한 대안을 과제화 하기 위해 다각적인 타당성 분석 수행

. 경제적 타당성

- 비용대비 편익 관점의 접근, 분석 비용에 대한 경제적 가치 산출

. 데이터 기술적 타당성

- 데이터 존재여부, 분석 시스템 환경, 분석 역량 필요

- 기술적 타당성 분석에 따른 역량 확보 방안 사전에 수립 필요 = 비즈니스 지식 + 기술적 지식

- 평가 과정을 거쳐 가장 우월한 대안을 선택, 정의서 형태로 명시하는 후속작업 시행 입력물 활용

 

2. 상향식 접근법

- 경험적 과거 데이터를 무작정 결합하여 상향식으로 정보 혹은 지식을 얻고자 하는 분석 패러다임

- 다양한 원천 데이터로부터 분석을 통하여 통찰력과 지식을 얻는 방법

 

- 기존 하향식 접근법의 한계를 극복하기 위한 분석 방법론

- 기존의 논리적인 단계별 접근법 기반한 문제 해결방식은 최근의 환경에 적합하지 않음

- 디자인 사고 접근법 - 현장 관찰과 감정이입, 대상의 관점으로 전환 수행 / why 아닌 what 관점

- 프로세스 : Empathize → Define → Ideate → Prototype → Test

- 비지도 학습 : 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태를 표현

ex) 장바구니분석, 군집분석, 기술통계 프로파일링

- 지도 학습 : 데이터 분석 실시, 분류, 추측, 예측, 최적화를 통해 사용자 주도 하에 분석 실시, 지식 도출

- 통계적 분석과 달리 인과관계 뿐만 아니라 상관관계 또는 연관 분석 통한 역추적 방식

 

- 시행착오를 통한 문제 해결

- 프로토타이핑 접근법 : 일단 분석을 시도해보고 결과를 확인해 가면서 반복적으로 개선해 나가는 방식

- 비록 완전하지 못해도 신속하게 해결책이나 모형 제시, 문제를 명확하게 인식, 식별, 구체화

- 프로세스 : 가설생성 디자인 실험 실제환경 테스트 통찰(인사이트) 도출 가설 확인

- 불명확성 감소, 의도했던 결과 도출할 있는 성공 가능성 상승

- 한번의 분석이 아닌 동적 환경에서 최대한 빨리 결과 보여주고, 지속적 반복 수행함

- 필요성

- 문제에 대한 인식 수준 : 새로운 문제일 경우 구체화 하는데 도움

- 필요 데이터 존재 여부의 불확실성 : 데이터 집합이 모두 존재하지 않을 경우 반복 순환적인 협의과정

- 데이터 사용 목적의 가변성 : 지속적으로 변화는 가치에 대하여 목적과 범위 확대 가능

 

3. 분석과제 정의

- 분석과제 정의서 : 향후 프로젝트 입력물로 사용, 이해관계자가 방향 설정, 성공여부 판단하는 자료

필요한 소스 데이터, 분석방법, 입수 분석 난이도, 분석수행주기, 검증 오너십, 과정등

분석 데이터 소스는 비구조적 데이터와 오픈 데이터까지 확장하여 상세하게 작성


 

4 분석 프로젝트 관리 방안

 

- 분석 과제의 주요 5가지 특성 주요 관리 영역

1) 데이터 사이즈 : 분석하고자 하는 데이터 고려한 관리 방안

2) 데이터 복잡도 : BI프로젝트와 달리 다양한 시스템에 원천 데이터 통합 분석 모델 선정 중요

3) 스피드 : 시나리오 측면의 속도 고려, 단위-배치형, 실시간-사기를 탐지, 실시간 수행을 위한 테스트

4) 분석의 정확도와 복잡도 : 복잡하면 정확도가 올라가지만 해석이 어려움, 기준점을 사전에 정의해야함

5) Accuracy & Precision : Accuracy는 모델과 실제값 차이가 적은 정확도, 분석적 활용 측면

 Precision는 모델을 지속적으로 반복했을 때의 편차수준, 안정성 측면


 

1. 분석 프로젝트의 특성

- 분석가 목표 : 분석 정확도 상승, 조율을 수행하는 조정자의 역할

- 프로젝트 관리 : 도출된 분석 과제를 구현하여 원하는 결과 얻고 원활하게 활용하는 전체적 과정 고려

- 프로토타이빙 방식의 어자일 프로젝트 관리 방식에 대한 고려 : 재해석을 통한 지속적 반복 정교화

- 분석과제 정의서를 기반으로 지속적인 개선 변경을 두고 기간내의 가능한 최선의 결과 도출

 

2. 분석 프로젝트 관리 방안

- 프로젝트 관리 지침


 

- 프로젝트 영역별 주요 관리 항목


+ Recent posts