분류번호 :	2001010510_17v2
능력단위 명칭 :	분석용 데이터 구축
능력단위 정의 :	분석용 데이터 구축이란 빅데이터 분석을 위하여 수집 저 장된 데이터를 분석용 데이터로 정제, 변환, 적재, 검증하는 능력이다.

능 력 단 위 요 소	수 행 준 거
2001010510_17v2.1 데이터 정제하기	1.1 빅데이터 분석에 필요한 데이터를 생성 주체 및 활용 유형 등에 따 라 식별하여 분류할 수 있다.
	1.2 효율적인 분석을 위하여 식별된 데이터를 분석에 적합한 품질의 데 이터로 변환할 수 있다.
	1.3 분석용 데이터셋을 이용하여 데이터의 오류, 결측치 등을 파악하고 분석요구사항에 맞도록 정제할 수 있다.
	【지식】 • 데이터 정제 절차
	• 필요 데이터 식별
	• 데이터 분포
	• 레거시 시스템
	• 데이터베이스 구축 방법론
	• 메타데이터
	【기술】 • 데이터웨어하우스(Data Warehouse)와 데이터마트(Data Mart) 활용 능력
	• 관계형 데이터베이스 시스템을 이용한 데이터 조회 능력
	• ERD(Entity Relationship Diagram) 활용 능력
	• 데이터 분석용 툴을 이용한 데이터 오류 및 결측치 탐색 능력
	• 분석용 샌드박스(Sendbox) 활용 능력
	• 스프레드 쉬트(Spread Sheet)를 이용한 데이터 처리 기술
	• 데이터 시각화 기술
	• 데이터 분석도구 사용 능력
	【태도】 • 데이터의 형태와 수준에 따라 필요한 정제작업을 집중할 수 있는 태 도
	• 데이터 표준에 대한 수용적인 태도
	• 데이터의 형상을 정확하게 파악하려는 자세
2001010510_17v2.2 데이터 변환 적재하기	2.1 분석의 효율성을 위하여 정제된 데이터셋을 분석도구에 맞는 데이 터 형태로 변경할 수 있다.
	2.2 데이터웨어하우스(Data Warehouse)에 저장된 데이터를 분석용 데이 터 마트(Data Mart)나 샌드박스(Sendbox)에 적재 할 수 있다.
	2.3 데이터의 용량과 데이터 처리의 실시간성을 판단하여 적재가 가능 한 상태로 편성할 수 있다.
	2.4 빅데이터 분석에 용이한 형태의 데이터셋을 편성 및 적재하고 적재 전후의 데이터 완전성을 확보할 수 있다.

2001010510_17v2.2 데이터 변환 적재하기	【지식】 • 정형, 비정형, 반정형 데이터의 변환 및 적재
	• 데이터 변환 및 적재에 대한 방법론
	• ETL(Extract Transformation Load)
	• ETT(Extract Transformation Transfer)
	• 비정형데이터의 정형데이터 변환 방법
	• 반정형데이터의 정형데이터 변환 방법
	• 메타데이터
	• 데이터 데이블 정의서 및 데이터 맵핑정의서
	【기술】 • 레거시 시스템 활용 기술
	• ODBC(Open Database Connectivity) 활용 기술
	• JDBC(Java Database Connectivity) 활용 기술
	• JSON(Javascript Object Notation) 활용 기술
	• HTML(Hyper Text Markup Language) 활용 기술
	• XML(Extended Markup Language) 활용 기술
	• ETL(Extract Transformation Load) 도구 활용 기술
	• ETT(Extract Transformation Transfer) 도구 활용 기술
	• 데이터 처리용 프로그래밍 언어 활용 기술
	• Hadoop 활용 기술
	• NoSQL 활용 기술
	• 관계형 데이터베이스 관리 시스템(RDBMS) 활용 기술
	【태도】 • 데이터 분석기술에 대한 수용 태도
	• 적정한 데이터 적재도구를 활용하려는 적극적인 자세
	• 정확한 데이터를 적재하려는 태도
2001010510_17v2.3 데이터 검증하기	3.1 정제된 분석용 데이터가 올바르게 적재되었는지 확인할 수 있다.
	3.2 빅데이터의 데이터 품질에 대하여 정확성 및 충분성에 맞게 분석용 데이터셋으로 적재할 수 있다.
	3.3 적재된 데이터의 신뢰성이 확보되어 있는지 파악할 수 있다.
	3.4 데이터 사전 처리가 개인정보보호 등의 규정에 위반되지 않게 처리 되어 적재되었는지 확인할 수 있다.
	3.5 정제되어 적재된 데이터의 정합성에 문제가 있을 경우 데이터 정합 성 개선개획을 수립할 수 있다.
	3.6 분석 모델링을 위한 훈련 데이터, 테스트 데이터 분할 계획을 수립 하고 실 데이터 검증을 위한 데이터셋 준비상태를 확인할 수 있다.
	【지식】 • 데이터 사전 구조
	• 데이터 검증 절차에 대한 방법론
	• 개인정보보호 등의 데이터관련 법규정
	• 데이터의 품질 유형 적용
	• 데이터 정합성 점검 방법

2001010510_17v2.3 데이터 검증하기	【기술】 • 데이터조회 관련 언어 기술
	• 데이터 검증용 도구 활용 기술
	• 데이터 시각화 도구 활용 기술
	• 데이터 분석도구 활용 기술
	• 데이터 점검 체크리스트 이용 기술
	• 모델 검증용 데이터셋 분할 기술
	【태도】 • 데이터의 사용 목적에 맞는 데이터의 정확성울 파악하려는 태도
	• 이해관계자와의 원활한 의사소통을 통한 문제해결 태도
	• 조직간 데이터 소유에 대한 분쟁 발생시 조정하려는 태도
	• 객관적 입장에서 데이터의 품질을 검증하려는 자세

•	이 능력단위는 빅데이터 분석에 필요한 데이터를 확보하고 검증하는 업무에 적용한다.
•	데이터 원천의 다양한 형태, 구조, 저장, 연계방식을 고려하여 데이터 처리 기술을 적용해야 한다.
•	데이터의 추출, 변환, 정제, 적재, 검증의 일련의 데이터 흐름을 구성하고 자동화할 수 있다.
•	분석용 데이터 구축의 범위, 반복주기, 작업시간 등의 정책기반 자동화를 적용할 수 있다.
•	데이터 처리용 프로그램언어는 Java, C/C++, Python, Scala, Shell Script 등 도구와 언어를 포함한다.
•	빅데이터의 대용량 처리에는 하둡에코시스템과 같은 빅데이터 처리 기술을 적용할 수 있다.
•	ETT란 데이터를 추출하여 변화하고 전달하는 Extract, Transformation, Transportation을 말한다.
•	ETL이란 데이터를 추출하여 변화하고 적재하는 Extract, Transformation, Loading을 말한다.
•	메타데이터(Meta Data)란 데이터의 데이터로써 테이블 형태의 데이터의 구조를 데이터로 표현한 구 조를 말한다.
•	데이터 표준이란 데이터의 용어, 단어, 구조, 도메인, 코드에 대한 규약에 대한 정의를 말한다.
•	구축된 분석용 데이터가 데이터 보안요건, 정보보호, 기밀유출방지, 개인정보보호, 데이터 표준화 및 품질관리 등 데이터 거버넌스 측면의 요구사항과 필요요건을 준수, 충족하도록 반영해야 한다.

•	메타데이터 정의서
•	데이터 정의서
•	데이터 사전(Data Dictionary)
•	데이터 표준
•	데이터 품질 관리체계
•	분석대상 데이터 세트
•	빅데이터 분석 가이드 라인
•	빅데이터 분석기법 관련 자료
•	빅데이터 분석 수행 사례
•	현재·미래 EA 비즈니스 설계서
•	조직 정보 보안 정책
•	정보 보안 법 규제 및 준수사항
•	조직도 및 업무 분장(Role & Responsibility)
•	현업 업무 가이드라인

◉ 적용범위 및 작업상황

고려사항

자료 및 관련 서류

•	컴퓨터
•	문서작성 도구
•	통계분석 소프트웨어 혹은 패키지
•	ETL(Extract Transformation Load) 도구
•	ETT(Extract Transformation Transfer) 도구
•	Hadoop
•	NoSQL
•	관계형 데이터베이스 메니지먼트(RDBMS, Relational Database Management System)
•	JDBC(Java Database Connectivity)
•	ODBC(Open Database Connectivity)
•	고객정보, 개인정보 마스킹 또는 비식별화 처리 위한 변환 시스템
•	외부 데이터 인터페이스시 정보보안 위한 이중화 시스템
•	결과 데이터 시각화 위한 도구 및 환경

•	해당 없음

장비 및 도구

재료

•	평가자는 능력단위 분석용 데이터 구축의 수행준거에 제시되어 있는 내용을 평가하기 위해 이론과 실기를 나누어 평가하거나 종합적인 결과물의 평가 등 다양한 평가 방법을 사용할 수 있다.

• 피평가자의 과정평가 및 결과평가 방법

평 가 방 법	평 가 유 형
	과 정 평 가	결 과 평 가
A.포트폴리오
B.문제해결 시나리오	√
C.서술형시험	√
D.논술형시험
E.사례연구		√
F.평가자 질문	√	√
G.평가자 체크리스트	√
H.피평가자 체크리스트		√
I.일지/저널
J.역할연기
K.구두발표		√
L.작업장평가
M.기타

• 수행준거에 제시되어 있는 내용을 성공적으로 수행할 수 있는지를 평가해야 한다.

• 평가자는 다음 사항을 평가해야 한다.

-	분석에 필요한 데이터의 요건을 분석하여 원천데이터를 분석용 데이터로 변환하는 능력
-	분석용 데이터 구축에 필요한 데이터 처리 흐름을 설계하고 구현하는 능력
-	RDBMS(Relational Database Management System)에서 데이터 조작 및 추출 능력
-	Hadoop에서 비정형 데이터의 조작 및 추출능력
-	데이터 분석용 도구를 활용한 데이터 조작 및 추출능력
-	데이터 추출 및 변환 도구를 활용한 데이터 추출, 변화, 저장 능력
-	데이터의 변환 및 정제를 위한 규칙, 매핑, 보강 구현 능력
-	데이터 처리용 프로그램언어 활용 능력

◉ 평가지침

평가방법

평가시 고려사항

순번	직 업 기 초 능 력
	주 요 영 역	하 위 영 역
1	의사소통능력	경청 능력, 기초외국어 능력, 문서이해 능력, 문서작성 능력, 의사표현 능력
2	수리능력	기초연산 능력, 기초통계 능력, 도표분석 능력, 도표작성 능력
3	문제해결능력	문제처리 능력, 사고력
4	자기개발능력	경력개발 능력, 자기관리 능력, 자아인식 능력
5	정보능력	정보처리 능력, 컴퓨터활용 능력
6	기술능력	기술선택 능력, 기술이해 능력, 기술적용 능력

◉ 직업기초능력

구 분	내 용
직무명칭(능력단위명)	빅데이터 분석(분석용 데이터 구축)

분류번호	현재	2001010510_17v2

개발연도	현재	2017
	최초(1차)	2015
버전번호		v2
개발기관	현재	한국소프트웨어산업협회
	최초(1차)
향후 보완 연도(예정)		2022
개선사유		기존 분석용 데이터 탐색 능력단위에서 분할

◉ 개발이력