데이터 분석 준전문가 자격증 시험_#2-1. 데이터분석 기획의 이해

데이터분석 기획 과목의 데이터분석 기획의 이해

 

 

▼ 데이터분석 준전문가 시험 과목 및 내용은 아래 접은 글 참고

과목 1_데이터 이해 

1장. 데이터의 이해

 

• 데이터와 정보
• 데이터베이스의 정의와 특징
• 데이터베이스 활용

2장. 데이터의 가치와 미래

• 빅데이터의 이해
• 빅데이터의 가치와 영향
• 비즈니스 모델
• 위기 요인과 통제 방안
• 미래의 빅데이터

3장. 가치 창조를 위한 데이터 사이언스와 전략 인사이트

• 빅데이터분석과 전략 인사이트
• 전략 인사이트 도출을 위한 필요 역량
• 빅데이터 그리고 데이터 사이언스의 미래

과목 2_데이터분석 기획 

1장. 데이터분석 기획의 이해

• 분석 기획 방향성 도출
• 분석 방법론
• 분석 과제 발굴
• 분석 프로젝트 관리 방안

2장. 분석 마스터 플랜

• 마스터 플랜 수립
• 분석 거버넌스 체계 수립

과목 3_데이터분석 

1장. R기초와 데이터 마트

 

• R기초
• 데이터 마트
• 결측값 처리와 이상값 검색

2장. 통계분석

• 통계학 개론
• 기초 통계분석
• 다변량 분석
• 시계열 예측

3장. 정형 데이터 마이닝

• 데이터 마이닝 개요
• 분류분석(Classification)
• 군집분석(Clustering)
• 연관분석(Association Analysis)

---

데이터 분석의 이해

분석 기획 방향성 도출

분석 기획 : 실제 분석 수행 전에 과제를 정의하고 의도한 결과 도출이 가능하도록 적절한 관리 방안을 사전 계획하는 일련의 작업

 

 

데이터 사이언스 역량

Math&Statistics + Information Technology + Domain Knowledge(해당 문제 영역에 대한 전문 역량)

=> 분석 기획 시 균형잡힌 시각을 가지고 방향성 및 계획을 수립해야 함

 

분석 주제의 유형 ★★★★★

4가지 유형의 분석 주제와 기법을 반복적으로 수행하여 도출

• 최적화(Optimization) : 데이터 분석 방법과 다양한 분석구조의 활용 이해+조직내 분석대상 인지
• 솔루션(Solution) : 조직 내 분석방법은 인지하지만, 데이터 분석방법과 분석구조 활용 이해도가 낮음
• 통찰(insight) : 데이터 분석방법과 다양한 분석도구의 활용은 충분히 이해하지만, 조직내 분석대상이 무엇인지 인지 못함
• 발견(Discovery) : 분석방법, 분석구조 이해와 분석대상 인지 모두 없음. 분석의 대상 자체를 새롭게 도출

 

목표시점별 접근

문제해결을 위해서 두 접근방식을 융합적으로 적용

	과제중심적 접근방식	마스터플랜 방식
1차 목표	당면 과제 신속 해결	지속적인 분석 문화 내재화
과제유형	단기적 관점. Quick-Win(작지만 작은 승리방식)	장기적 관점
접근방식	Problem Solving	Problem Definition

 

 

분석 기획시 고려사항

분석기획은 어떤 목표(What)을 달성하기 위해(Why) 어떤 데이터를 갖고 어떤 방식으로(How) 수행할지에 대한 일련의 계획 수립 과정

• 가용 데이터 유형 분석 선행 : 분석 위한 데이터 확보가 우선 필수적이며, 데이터 존재 시에도 그 유형에 따라 적용 가능한 솔루션 및 분석 방법이 다르기 때문에 유형 분석 선행되어야 함
• 적절한 유스케이스 최대한 활용 : "바퀴를 재발명하지 마라". 기존에 잘 구현/활용되는 유사 분석 시나리오 및 솔루션 최대한 활용 시 분석결과 활용 사용자 측면에서 공감대를 얻고 원활한 분석수행에 도움이 됨
• 분석과제 수행 시 장애요소에 대한 사전계획 수립 : 비용, 결과의 형태, 퍼포먼스, 환경 및 문화 등 고려. 일회성 분석이 아닌 조직 역량 내재화를 위해서는 충분하고 계속적인 교육 및 활용방안 등의 변화 관리 고려.

 

<데이터 유형별 예시>
정형 데이터 : DB, 스프레드시트 등
비정형 데이터 : e메일, 보고서, 소셜미디어 데이터, GPS 등
반정형 데이터 : 센서 중심으로 스트리밍되는 머신데이터, XML, HTML 등
* 반정형 데이터는 필드에 고정되어 있지는 않지만 메타 데이터나 스키마를 포함하고 있음

 

---

분석 방법론

분석 방법론

• 고정관념, 편향, 프레이밍 효과를 제어하기 위해 데이터 기반의 의사결정이 필요
• 방법론의 생성과정 : 개인의 암묵지가 조직의 형식지로 발전하는 형식화 과정을 거치고, 이를 체계화하여 문서화한 최적화된 형식지로 전개됨으로써 방법론이 만들어질 수 있음. 그리고 이 방법론이 다시 개인에게 전파/활용되는 내재화 과정을 거쳐 암묵지로 발전하는 선순환 과정이 진행된다.
• 분석방법론은 상세한 절차/방법/도구/기법/템플릿/산출물로 구성해(체계화, 문서화) 어느 정도 지식만 있으면 활용가능해야 함

 

프레이밍 효과 : 문제 표현방식에 따라 동일 사건, 상황에도 불구하고 개인 판단 및 선택이 달라질 수 있는 현상

 

 

업무특성별 방법론 유형 ★★★

• 폭포수 모델 : 순차적으로 단계 진행. 하향식 진행이지만, 문재나 개선사항 발생 시 피드백 과정 수행
• 나선형 모델 : 반복을 통해 점증적으로 개발. 
• 프로토타입 모델 : 고객 요구의 일부분을 우선 개발하여 그 결과를 개선 작업에 시행

 

애자일(Agile) 모델 : 문서가 아닌 실질적인 코딩을 통한 방법론.

 

 

방법론의 구성

• 일반적으로 계층적 프로세스 모델로서 스텝, 태스크, 단계의 3개층으로 구성됨
  • 스텝 : 입력자료, 프로세스(처리 및 도구), 출력자료로 구성된 단위 프로세스.  ex) WBS 워크 패키지
  • 태스크 : 단계를 구성하는 단위활동. 물리적/논리적 단위. 품질검토 항목이 될 수 있음.
  • 단계 : 최상위 계층으로 프로세스 그룹을 통해 완성된 단계별 산출물 생성. 각 단계는 기준선으로 설정되어 관리되고, 버전관리를 통해 통제됨. 여러 개의 태스크로 구성됨.

 

KDD 분석 방법론(Knowledge Discovery in Databases)

• 데이터에서 패턴을 찾는 과정(데이터 마이닝 프로세스)을 9개 프로세스로 정리
  • 분석대상 도메인 이해
  • 데이터셋 선택
  • 데이터 전처리
  • 데이터 변환
  • 데이터 마이닝
    • 기법 선택
    • 알고리즘 선택
    • 시행
  • 데이터 마이닝 결과 평가
  • 지식 활용

 

CRISP-DM 분석방법론(Cross Industry Standard Process for Data Mining) ★★★

• 계층적 프로세스 모델로 4개 레벨로 구성됨
  • 단계
  • 일반화 태스크 : 데이터 마이닝의 단일 프로세스를 완전하게 수행하는 단위
  • 세분화 태스크 : 일반화 태스크를 구체적으로 수행하는 레벨
  • 프로세스 실행 : 데이터 마이닝을 위한 구체적인 실행 
• 6개 프로세스로 구성됨. 폭포수 모델과 다르게 일방향으로 구성되어 있지 않으며 단계 간 피드백을 통해 단계별 완성도 증진.
  • 업무 이해 : 업무 목적 및 상황 파악, 데이터 마이닝 목표 설정, 프로젝트 계획 수립
  • 데이터 이해 : 초기데이터 수집, 데이터 기술 분석, 데이터 탐색, 데이터 품질 확인
  • 데이터 준비 : 분석용 데이터셋 선택, 데이터 정제, 분석용 데이터셋 편성, 데이터 통합, 데이터 포맷팅
  • 모델링 : 모델링 기법 선택, 모델테스트 계획 설계, 모델 작성 및 평가
  • 평가 : 분석결과 평가, 모델링 과정 평가, 모델 적용성 평가
  • 전개 : 전개계획 수립, 모니터링과 유지보수 계획 수립, 프로젝트 종료보고서 작성, 프로젝트 리뷰

 

 

빅데이터 분석 방법론 모델

• 분석기획(Planning) 단계와 데이터 준비(preparing) 단계로 구성됨. 분석수행 과정에서 추가적 데이터 확보가 필요한 경우 데이터 준비단계로 피드백하여 두 단계를 반복 진행
  • 분석기획 : 비즈니스 도메인과 문제점을 인식하고 분석계획 및 프로젝트 수행계획 수립
  • 데이터 준비 : 비즈니스 요구사항과 데이터 분석에 필요한 원천데이터를 정의하고 준비
• 빅데이터 분석 방법론 참조 모델
  1. 분석 기획 : 비즈니스의 이해 및 범위 설정, 프로젝트 정의 및 계획 수립, 프로젝트 위험계획 수립
  2. 데이터 준비 : 필요 데이터 정의, 데이터 스토어 설계, 데이터 수집 및 정합성 검정(데이터 품질확보가 중요하므로 품질통제와 품질보증 프로세스 수행)
  3. 데이터 분석 : 분석용 데이터 준비, 텍스트 분석, 탐색적 분석, 모델링, 모델 평가 및 검증, 모델 적용 및 운영방안 수립.
  4. 시스템 구현 : 설계 및 구현, 시스템 테스트 및 운영
  5. 평가 및 전개 : 모델 발전계획 수립, 프로젝트 평가 및 보고

단계	태스크	스텝	입력자료	프로세스&도구	출력자료
1. 분석기획	비즈니스 이해 및 범위 설정	비즈니스 이해	업무 매뉴얼, 업무전문가 지식, 빅데이터 분석대상 도메인에 대한 관련 자료	자료 수집 및 비즈니스의 이해	비즈니스의 이해 및 도메인 문제점
		프로젝트 범위설정	중장기 계획서, 빅데이터 분석 프로젝트 지시서, 비즈니스 이해 및 도메인 문제점	자료 수집 및 비즈니스 이해, 프로젝트 범위 정의서 작성 절차	SOW
	프로젝트 정의 및 계획 수립	데이터 프로젝트 정의	SOW, 빅데이터 분석 프로젝트 지시서	프로젝트 목표 구체화, 모델 운영 이미지 설계	프로젝트 정의서, 모델 운영 이미지 설계서, 모델 평가 기준
		프로젝트 수행계획 수립	프로젝트 정의서, 모델운영 이미지 설계서, 모델 평가 기준	프로젝트 수행 계획 작성, WBS 작성 도구, 일정계획 수립 도구	프로젝트 수행 계획서, WBS
	프로젝트 위험계획 수립	데이터 분석 위험 식별	프로젝트 정의서, 프로젝트 수행 계획서, 선행 프로젝트 산출물 정리 자료	위험 식별 절차, 위험 영향도 및 발생 가능성 분석, 위험 우선순위 판단	식별된 위험 목록
		위험 대응 계획 수립	식별된 위험목록, 프로젝트 정의서, 프로젝트 수행 계획서	위험 정량적 분석, 위험 정성적 분석	위험관리 계획서
2. 데이터 준비	필요 데이터 정의	데이터 정의	프로젝트 수행 계획서, 시스템 설계서, ERD, 메타데이터 정의서, 문서자료	내외부 데이터 정의, 정형/비정형/반정형 데이터 정의	데이터 정의서
		데이터 획득 방안	데이터 정의서, 시스템 설계서, ERD, 메타데이터 정의서, 문서자료, 데이터 구입	데이터 획득 방안 수립	데이터 획득 계획서
	데이터 스토어 설계	정형 데이터 스토어 설계	데이터 정의서, 데이터 획득 계획서	데이터베이스 논리설계, 데이터베이스 물리설계, 데이터 매핑	정형 데이터 스토어 설계서, 데이터 매핑 정의서
		비정형 데이터 스토어 설계	데이터 정의서, 데이터 획득 계획서	비정형/반정형 데이터 논리설계, 비정형/반정형 데이터 물리설계	비정형 데이터 스토어 설계서, 데이터 매핑 정의서
	데이터 수집 및 정합성 검정	데이터 수집 및 저장	데이터 정의서, 데이터 획득 계획서, 데이터 스토어 설계서	데이터 크롤링 도구, ETL 도구, 데이터 수집 스크립트	수집된 분석용 데이터
		데이터 정합성 검정	수집된 분석용 데이터	데이터 품질 확인, 데이터 정합성 점검 리스트	데이터 정합성 점검 보고서
3. 데이터 분석	분석용 데이터 준비	비즈니스 룰 확인	프로젝트 정의서, 프로젝트 수행 계획서, 데이터 정의서, 데이터 스토어	프로젝트 목표 확인, 비즈니스 룰 확인	비즈니스 룰, 분석에 필요한 데이터 범위
		분석용 데이터셋 준비	데이터 정의서, 데이터 스토어	데이터 선정, 데이터 변환, ETL 도구	분석용 데이터셋
	텍스트 분석	텍스트 데이터 확인 및 추출	비정형 데이터 스토어	분석용 텍스트 데이터 확인, 텍스트 데이터 추출	분석용 텍스트 데이터
		텍스트 데이터 분석	분석용 텍스트 데이터, 용어사전(용어 유의어 사전, 불용어 사전)	분류체계 설계, 형태소 분석, 키워드 도출, 토픽 분석, 감성 분석, 오피니언 분석, 네트워크 분석	텍스트 분석 보고서
	탐색적 분석	탐색적 데이터 분석	분석용 데이터셋	EDA 도구, 통계 분석, 변수간 연관성 분석, 데이터 분포 확인	데이터 탐색 보고서
		데이터 시각화	분석용 데이터셋	시각화 도구 및 패키지, 인포그래핏, 시각화 방법론	데이터 시각화 보고서
	모델링	데이터 분할 * 모델링 전 훈련용과 테스트용으로 분할해 모델 과적합 방지 또는 모델 일반화에 이용	분석용 데이터셋	데이터 분할 패키지	훈련용 데이터, 테스트용 데이터
		데이터 모델링	분석용 데이터셋	통계 모델링 기법, 기계학습, 모델테스트	모델링 결과 보고서
		모델 적용 및 운영 방안	모델링 결과 보고서	모니터링 방안 수립, 알고리즘 설명서 작성	알고리즘 설명서
	모델 평가 및 검증	모델 평가	모델링 결과 보고서, 평가용 데이터	모델 평가, 모델 품질 관리, 모델 개선 작업	모델 평가 보고서
		모델 검증	모델링 결과 보고서, 모델 평가 보고서, 검증용 데이터	모델 검증	모델 검증 보고서
4. 시스템 구현	설계 및 구현	시스템 분석 및 설계	알고리즘 설명서, 운영중인 시스템 설계서	정보시스템 개발방법론	시스템 분석 및 설계서
		시스템 구현	시스템 분석 및 설계서, 알고리즘 설명서	시스템 통합개발도구(IDE), 알고리즘 설명서	구현 시스템
	시스템 테스트 및 운영	시스템 테스트	구현 시스템, 시스템 테스트 계획서	품질 관리 활동	시스템 테스트 결과 보고서
		시스템 운영 계획	시스템 분석 및 설계서, 구현 시스템	운영계획 수립, 운영자 및 사용자 교육	운영자 매뉴얼, 사용자 매뉴얼, 시스템 운영계획서
5. 평가 및 전개	모델 발전 계획	모델 발전 계획	구현 시스템, 프로젝트 산출물	모델 발전 계획 수립	모델 발전 계획서
	프로젝트 평가 및 보고	프로젝트 성과 평가	프로젝트 산출물, 품질관리 산출물, 프로젝트 정의서, 프로젝트 수행 계획서	프로젝트 평가 기준, 프로젝트 정량적 평가, 프로젝트 정성적 평가	프로젝트 성과 평가서
		프로젝트 종료	프로젝트 산출물, 품질관리산출물, 프로젝트 정의서, 프로젝트 수행계획서, 프로젝트 성과 평가서	프로젝트 지식자산화 작업, 프로젝트 종료	프로젝트 최종 보고서

 

프로젝트 범위 정의서(SOW : Statement of Work)

작업분류체계=업무분업구조 (WBS : Work Breakdown Structure) : 프로젝트 관리와 시스템 공학 분야에서 프로젝트의 더 작은 요소로 분해시킨 딜리버러블 지향 분업 구조

데이터 스토어(Data Store) : 데이터베이스같은 저장소뿐 아니라 단순 파일, 이메일 등의 더 단순한 스토어 타입들을 포함하는, 데이터 컬렉션들을 영속적으로 저장하고 관리하기 위한 저장소

데이터 맵핑 정의서

ETL(Extract Transform Load) : 추출, 변환, 적재는 컴퓨팅에서 데이터베이스 이용의 한 과정으로 특히 데이터 웨어하우스에서 다음을 아우른다: 동일 기종 또는 타기종의 데이터 소스로부터 데이터를 추출한다. 조회 또는 분석을 목적으로 적절한 포맷이나 구조로 데이터를 저장하기 위해 데이터를 변환한다.

탐색적 분석 (EDA : Exploratory data analysis) : 기존 통계학이 정보 추출에서 가설 검증에 치우쳐 자료 본연의 의미를 찾는데 어려움이 있는 걸 보완하고자, 주어진 자료만으로도 충분한 정보를 찾을 수 있도록 여러가지 탐색적 자료 분석 방법을 개발.  ex) 박스플롯

비즈니스 인텔리전스 (BI : Business Intelligence) : 기업에서 데이터를 수집, 정리, 분석하고 활용하여 효율적인 의사결정을 할 수 있는 방법에 대해 연구하는 학문

 

---

분석 과제 발굴

분석 과제 도출 방법

• 하향식 접근 방식(Top-down Approach) : 문제가 주어지고 이에 대한 해법을 찾기위해 각 과정이 체계적으로 단계화되어 수행하는 방식
• 상향식 접근 방식(Bottom up Approach) : 문제 정의 자체가 어려운 경우 데이터를 기반으로 문제 재정의 및 해결방안 탐색하고 이를 지속 개선하는 방식

 

 

디자인 사고 프로세스(IDEO) : 생각을 다양하게 확장하여 여러 개의 선택지를 만든 뒤 그 중에서 여러 제약 사항을 고려해 다듬어 나가는 방식. 중요한 의사결정 시 가능한 옵션을 도출하는 상향식 접근방식의 발산단계와 도출된 옵션을 분석/검증하는 하향식 접근 방식의 수렴단계를 반복 수행하는 식으로 상호보완하는 것이 동적인 환경에서는 분석 가치를 높이는 최적의 의사결정 방식

 

 

하향식 접근법

1. 문제탐색 단계
   1. 비즈니스 모델 기반 문제 탐색(비즈니스 모델 캔버스):기업 내외부를 포괄하는 비즈니스모델이라는 틀을 활용해 가치창출될 문제를 누락없이 도출
      • 업무 : 제품 및 서비스를 생산하기 위해 운영하는 내부 프로세스 및 주요 자원 관련 주제 도출
      • 제품 : 생산 및 제공하는 제품/서비스를 개선하기 위한 관련 주제 도출
      • 고객 : 제품, 서비스를 제공받는 사용자 및 고객, 이를 제공하는 채널의 관점에서 관련 주제 도출
      • 규제와 감사 : 제품 생산/전달 과정 프로세스 중 발생하는 규제/보안 관점에서 주제 도출
      • 지원 인프라 : 분석 수행 시스템 영역 및 운영/관리 인력 관점에서 주제 도출
   2. 외부 참조 모델 기반 문제 탐색 : 제공되는 산업/업무 서비스별 분석테마 후보 그룹(pool)을 통해 퀵 앤 이지 방식으로 필요한 분석기회가 무엇인지에 대한 아이디어 얻고 기업에 적용할 분석테마 후보 목록을 워크숍 형태의 브레인스토밍을 통해 빠르게 도출하는 방법
   3. 분석 유즈 케이스 정의 : 풀어야 할 문제에 대한 상세설명과 문제 해결시 발생효과를 명시해 향후 데이터 분석 문제로의 전환 및 적합성 평가에 활용해야 함
2. 문제 정의 단계 : 식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계(단 최종사용자 관점에서 이뤄져야 함!)
3. 해결방안 탐색 단계 : 정의된 데이터 분석 문제를 해결하기 위한 다양한 방안 모색
4. 타당성 검토 단계
   • 경제적 타당성 : 비용 대비 편익 분석 관점 접근이 필요
   • 데이터 및 기술적 타당성 : 데이터 존재 여부, 분석 시스템 환경, 분석역량이 필요

 

비즈니스 모델 캔버스 : 해당기업의 사업모델을 도식화한 것

 

 

상향식 접근법

• 기존의 논리적 접근법은 새로운 문제 탐색에는 한계가 있음
• 답을 미리 내는 것이 아니라 사물을 있는 그대로 인식하는 What의 관점에서 보아야 한다는 것
• 비지도학습(Unsuspected Learnilng) 방법에 의해 수행
• 데이터 자체의 결합, 연관성, 유사 등을 중심으로 데이터 상태 표현
• 데이터 마이닝 기법 : 장바구니 분석, 군집분석, 프로파일링 등
• 시행착오를 위한 문제 해결
• 프로토타입핑의 필요성

 

지도 학습: 데이터가 라벨링되어 있음.
비지도 학습 : 데이터가 라벨링되어 있지 않음. 군집화 등에 사용됨

 

분석과제 정의 

• 다양한 방식을 통해 도출한 분석과제를 분석과제 정의서 양식을 활용해 상세히 정의
• 분석과제 정의서는 향후 프로젝트 수행계획의 입력물로 사용되기 때문에 프로젝트 수행 이해관계자가 프로젝트 방향 설정하고 성공 여부 판별용 주요 자료로서 명확하게 작성해야 함

 

 

---

분석 프로젝트 관리 방안

분석과제 관리

• 과제 형태로 도출된 분석기회는 프로젝트를 통해 그 가치를 증명하고 목표를 달성해야 함
• 분석과제 관리를 위한 5가지 주요 영역
  • Data Size : 분석하고자 하는 데이터 양을 고려해 관리 방안 수립 필요
  • Data Complexity : 정형, 비정형 여부 고려
  • Speed : 분석결과 도출 시 이를 활용하는 시나리오 측면에서의 속도 고려. 배치 vs 실시간
  • Analytic Complexity : 분석모델의 정확도와 복잡도는 트레이드오프 관계 존재. 해석이 가능하면서도 정확도를 올릴 수 있는 최적모델 찾는 방안을 사전에 모색해야 함
  • Accuracy&Precision
    • Accuracy : 모델과 실제값 사이의 차이가 적은 정도(정확도). 분석 활용 측면에 중요
    • Precision : 모델을 지속적으로 반복했을 때의 편차의 수준. 일관적으로 동일한 결과 제시 정도. 안정석 측면에 중요

하둡(hadoop) : 대용량 데이터를 적은 비용으로 더 빠르게 분석할 수 있는 소프트웨어

배치 (batch) :  일괄처리. 컴퓨터 프로그램 흐름에 따라 순차적으로 자료를 처리하는 방식을 뜻한다. 초기의 일괄처리 방식은 사용자와 상호작용하는 것이 불가능했지만, 운영 체제가 발전함에 따라 프로그램 입출력을 통해 상호작용하는 것이 가능해졌다

 

 

분석프로젝트

• 특성
  • 분석 과제 정의서를 기반으로 프로젝트를 시작하되, 지속적인 개선/변경을 고려하여 기간 내 가능한 최선의 결과를 도출할 수 있도록 프로젝트 구성원과 협업함
• 관리방안
  • 범위(Scope)
  • 시간(Time)
  • 원가(Cost)
  • 품질(Quality) : 품질통제 + 품질보증
  • 통합(Integration)
  • 조달(Procurement)
  • 자원(Resource)
  • 리스크(Risk)
  • 의사소통(Communication)
  • 이해관계자(Stakeholder)

 

Timing Boxing

개념증명 (PoC : Proof of Concept) : 기존 시장에 없었던 신기술을 도입하기 전에 이를 검증하기 위해 사용하는 것을 뜻한다. 특정 방식이나 아이디어를 실현하여 타당성을 증명하는 것을 뜻한다