제 1절 R 기초

- R의 장점 : 오픈소스, 가장 빠르게 발전, 보급됨

1. 분석 환경의 이해

1) 통계 패키지 R

- 복잡한 계산이나 시각화 기법을 사용할 수 있는 무료 소프트웨어

- 오픈 소스 무료 소프트웨어, 사용자 직접 제작한 패키지 사용 가능, 상용 소프트웨어 만큼 강력한 시각화

2) R의 역사

- 'S' : 1975년 "to turn ideas into software, quickly and faithfully." 통계 프로그램 → C언어

- R : 1993년 뉴질랜드 'Scheme' 개념의 또 다른 S 언어 프로그램

- 자유 소프트웨어 재단의 일반 공증 사용 허가서로 인한 무료 공개, S언어 사용 가능, Unix계역

3) R의 특징

가. 그래픽 처리

- 고해상도의 그래프와 그림, 매우 세부적인 부분까지 사용자 지정 가능, 빠른 처리시간

나. 데이터 처리 및 계산 능력

- 백터, 행렬, 배열, 데이터 프레임, 리스트 등의 다양한 형태의 데이터 구조 지원

- 복잡한 구조 내의 개별 데이터에 접근하는 절차 간단 → 큰 데이터 핸들링 간편

다. 패키지

- 패키지 : 스스로 개발하는 새로운 함수, 특정 분석 기법을 사용

- 확장성 → 최근 이론이나 기법 사용하기 용이, 그래픽 처리 용이(고급 기능 사용가능)

4) R Studio

- 통합개발환경(IDE), 메모리에 저장되어 있는 변수 사용, 수정 용이

- 스크립트 문서화, 무료로 제공되는 운영체제

2. 기본 사용법

1) R와 R Studio의 구성

가. R의 구성

① 메뉴 바 : R에서 사용할 수 있는 다양한 기본 기능들이 나열되

② 단축 아이콘 툴바  : 자주 사용하는 기능들의 단축 아이콘이 나열

 좌측부터 순서대로 스크립트 열기, 작업공간 불러오기, 작업공간 저장하기, 복사, 붙여넣기,  복사 후 붙여넣기， 현재 수행 중인 연산 중단, 인쇄하기

③ R 콘솔 : 콘솔은 R 명령어가 입력되고, 결과가 출력되는 R의 핵심적인 작업공간이다.

④ 스크립트 창 : 콘솔 창에서는 한 번에 한 줄의 명령어를 입력하고 바로 실행하여야 하기 때문에

긴 프로그래밍 코드를 작성하는 경우 사용하기가 불편하다.

이런 경우 별도로 실행시킬 수 있는 스크립트 창을 열어 여러 줄의 코드를 한 번에 작성하고

한 줄 씩 실행시킬 수 있으며 스크립트 창에 입력된 코드를 별도의 스크립트 파일로 저장할 수 있다 

나. R Studio의 구성

① 스크립트 창: 기존의 R 에서 별도로 열 수 있는 스크립트 창과 동일한 기능을 한다.

R에서 작성하여 저장한 스크립트를 불러올 수 있으며 여러 스크립트를 동시에 열어 작업할 수도 있다

② R 콘솔: 기존의 R에서 볼 수 있었던 콘솔창과 동일하다.

R 명령어를 실행한 결과가 콘솔 창에 나타나며 콘솔에 명령어를 입 력하여 실행할 수도 있다.

이 경우 한 줄 씩의 코드만 입력할 수 있다는 점에 유의하자.

③ 환경 및 히스토리 : 랩을 통해 환경 설정과 히스토리를 살펴볼 수 있다.

환경 창에서는 현재 실행중인 R 프로젝트에서 선언된 변수, 함수, 데이터셋 등의 정보를 살펴볼 수 있다.

히스토리 창에서는 현재까지 정상적으로 실행한 명령어들이 나열된다.

④ 현재 문서들이 저장되는 폴더나 R을 이용해 그린 그림들

 불러온 패키지들과 도움말 등을 별도의 한 영역에서 확인할 수 있다.

※ ctrl + Enter = run 버튼

2) R 패키지 설치하기

가. 상단 메뉴바의 패키지 툴에서 패키지 설치하기 클릭

나. 명령어로 패키지 설치하기

> install.packages("패키지이름")

불러오기

> library(패키지 이름)

3) R 도움말 (help)

- 해당 함수에 대한 기본적인 설명, 인수 설명, 옵션 목록 및 예제 : ?, help

> ?par

> help(par)

4) R 언어와 문법

- # : 주석

가. R 데이터 구조

① 벡터

하나의 스칼라값, 하나 이상의 스칼라 원소를 갖는 단순한 형태 집합

원소 : 숫자, 문자, 논리 연산자 숫자는 숫자, 문자는 문자 벡터가 됨

- 논리 연산자 → 숫자로 사용하려면 TRUE = 1, FALSE = 0

- 대소문자 구분하기에 모든 글자는 대문자로 기입

명령어 : C 'concentration(연결)'

> x = c(1, 20, 23, 40)

> y = c("사과", "바나나", "오렌지")

> z = c(TRUE, FALSE, TRUE)

> x <- c(1, 20, 23, 40)

> y <- c("사과", "바나나", "오렌지")

> z <- c(TRUE, FALSE, TRUE)

벡터와 벡터의 결합 : 숫자와 문자 벡터가 합쳐지면 문자형 벡터로 인식됨

> x <- c(1, 20, 23, 40)

> y <- c("사과", "바나나", "오렌지")

> xy <- c(x,y)

> xy
[1] "1"      "20"     "23"     "40"     "사과"  "바나나" "오렌지"

② 행렬

행과 열을 갖는 m * n 형태의 직사각형

명령어 : matrix(데이터를 묶은 벡터, ncol(열) or nrow(행) 옵션, byrow=T)

> mx = matrix(c(1,2,3,4,5,6), ncol=2)
> mx
     [,1] [,2]
[1,]    1    4
[2,]    2    5
[3,]    3    6
> mx = matrix(c(1,2,3,4,5,6), ncol=2, byrow = T)
> mx
     [,1] [,2]
[1,]    1    2
[2,]    3    4
[3,]    5    6

벡터 합쳐서 새로운 행렬 생성 가능

rbind : 기존의 행렬에 행을 추가하는 형태

cbind : 기존의 행렬에 열을 추가하는 형태

> r1=c(10,20)
> c1=c(20,20,20)
> rbind(mx,r1)
   [,1] [,2]
      1    2
      3    4
      5    6
r1   10   20

> cbind(mx,c1)
             c1
[1,] 1 2 20
[2,] 3 4 20
[3,] 5 6 20

※ 이 명령어들을 이용해 데이터 프레임을 합치면 데이터 프레임 형태로 합침

③ 데이터 프레임

행렬과 유사한 2차원 목록 데이터 구조, 행렬과 다르게 각 열이 서로 다른 타입 가질 수 있음

다루기가 쉽고 정보를 많이 담아 가장 많이 쓰임

명령어 : data.frame 여러 개의 벡터를 하나의 프레임으로 합침

> income = c( 100, 200, 150, 300, 900)
> car = c("kia", "hyundai", "kia", "toyota", "lexus" )
> marriage = c(FALSE, FALSE, FALSE, TRUE, TRUE )
> mydat = data.frame(income, car, marriage)
> mydat
  income     car marriage
1    100     kia    FALSE
2    200 hyundai    FALSE
3    150     kia    FALSE
4    300  toyota     TRUE
5    900   lexus     TRUE

나. 외부 데이터 불러오기

① CSV파일 불러오기

명령어 : read.table(header=T 첫 줄을 변수명으로 지정, sep="," 쉼표로 구성된 파일임을 지정)

     read.csv 사용해도 가능 sep="," 구분자 표시 할 필요 없음

data1 <- read. table("D:\\DATA\\example.csv", header=T, sep=".")

※ \ 대신 \\ 을 사용함을 유의,  / 사용해도 무관

② txt파일 불러오기

명령어 : read.table, sep="," 사용하지 않으면 텍스트 파일 불러오게됨

data2 < - read.table("D:\\DATA\\example.txt")

③ 엑셀 파일 불러오기

- 엑셀을 csv 파일 형식으로 변경하여 불러오기

- RODBC 패키지 불러와서 엑셀 파일 가능하도록

> library(RODBC) # 패키지 열기

> new < - odbcConnectExcel(" c:\\data\\mydata" ) # 엑셀파일의 경로입력

> yourdata <- sqlFetch(new, "Sheet1") # 엑셀파일의 워크시트(sheet) 이름 입력

> close( new)

※ 확장자를 생략하고 작성, 워크시트 대소문자 구분

다. R의 기초 함수

① 수열 생성하기

숫자를 반복해서 생성해줌

rep : 첫 번째 인수 만큼 두번째 인수만큼 반복

> rep(1,3)
[1] 1 1 1
> rep(2:5, 3)
 [1] 2 3 4 5 2 3 4 5 2 3 4 5

seq : 첫 번째 인수부터 1씩 증가하여 두번째 인수까지 수열 생성

 by = n 옵션 추가하여 n 씩 증가 가능

 length = m 옵션 추가 전체 범위의 개수가 m가 되도록 생성

> seq(1,3)
[1] 1 2 3
> 1:3                #seq와 같은 방법
[1] 1 2 3
> seq(1, 11, by=2)
[1]  1  3  5  7  9 11
> seq(1, 11, length=6)
[1]  1  3  5  7  9 11
> seq(1, 11, length=8)
[1]  1.000000  2.428571  3.857143  5.285714  6.714286 8.142857  9.571429 11.000000

② 기초적인 수치 계산

사칙연산

> a=1:10
> a
 [1]  1  2  3  4  5  6  7  8  9 10
> a+a
 [1]  2  4  6  8 10 12 14 16 18 20
> a-a
 [1] 0 0 0 0 0 0 0 0 0 0
> a*a
 [1]   1   4   9  16  25  36  49  64  81 100
> a/a
 [1] 1 1 1 1 1 1 1 1 1 1

기본적은 열 벡터 생성 → 전치행렬 t(a)로 1행 3열로 변경하여 두 행렬 곱 가능

명령어 : %*%

> a=c(2,7,3)
> a
[1] 2 7 3
> t(a)   #전치행렬
     [,1] [,2] [,3]
[1,]    2    7    3
> A=a%*%t(a)
> A
     [,1] [,2] [,3]
[1,]    4   14    6                =  2,7,3 * 2       
[2,]   14   49   21              =  2,7,3 * 7
[3,]    6   21    9                =  2,7,3 * 3

행렬 * 연산 실행하면 단순 스칼라 곱 결과

> mx=matrix(c(23,41,12,35,67,1,24,7,53), nrow=3)
> mx
     [,1] [,2] [,3]
[1,]   23   35   24
[2,]   41   67    7
[3,]   12    1   53
> 5*mx
     [,1] [,2] [,3]
[1,]  115  175  120
[2,]  205  335   35
[3,]   60    5  265

행렬의 역행렬 명령어 : solve

> solve(mx)
            [,1]        [,2]        [,3]
[1,] -0.35743822  0.18466969  0.13746848
[2,]  0.21069087 -0.09389813 -0.08300555
[3,]  0.07695411 -0.04004034 -0.01069087

평균 mean, 분산 var, 표준편차 sd

> a = 1:10
> mean(a) #평균
[1] 5.5
> var(a) #분산
[1] 9.166667
> sd(a) #표준편차
[1] 3.02765

합 sum, 중앙값 median, 자연로그 log

> sum(a) #합
[1] 55
> median(a) #중앙값
[1] 5.5
> log(a) #자연로그
 [1] 0.0000000 0.6931472 1.0986123 1.3862944 1.6094379
 [6] 1.7917595 1.9459101 2.0794415 2.1972246 2.3025851

서로 다른 벡터에 대한 공분산 cov, 상관계수 cor

> b=log(a) #자연로그값 생성
> cov(a,b) #공분산
[1] 2.112062
> cor(a,b) #상관계수
[1] 0.9516624

summary 함수 : 각 사분위수, 최소값, 최대값, 중앙값, 평균

> summary(a)
   Min. 1st Qu.  Median    Mean  3rd Qu.    Max.
   1.00    3.25    5.50           5.50     7.75   10.00

라. R 데이터 핸들링

: R은 객체지향 언어, 변수내 요소 참조 직관적

① 벡터형 변수

문자형 변수를 [ n 번째] 로 지정해주면 해당하는 값만 불러옴

[ -n번째 ] 해당 원소만 제외하고 값을 불러옴

여러 개 원소 불러오고자 할 때는 c 명령어 사용하여 가능

> b[2] # 2번째 값만
[1] "b"
> b[-2] # 2번째 값만 빼고
[1] "a" "c" "d" "e"
> b[c(2,3)] # 2,3 번째 원소만 불러올때 C 명령어 사용
[1] "b" "c"

② 행렬/데이터 프레임 형태의 변수

데이터 프레임에 대해서도 특정 원소/요소 참조 가능

[ 행m번째, 열n번째 ] 로 값을 지정하거나 [-m, ] 또는 [ ,-n] 제외 가능

다만, [-m,-n]으로 지정하여 하나의 원소 제외 불가능

하나의 숫자 뿐 아니라 여러 개 숫자형 벡터도 적용 가능

> mydat[3,2] #3행 2열의 값을 불러옴
[1] kia
Levels: hyundai kia lexus toyota
> mydat[,2] #2열의 값을 불러옴
[1] kia     hyundai kia     toyota  lexus 
Levels: hyundai kia lexus toyota
> mydat[4,] # 4행의 값을 불러옴
  income    car marriage
4    300 toyota     TRUE
> mydat[-3,] # 3행의 값만 빼고 불러옴
  income     car marriage
1    100     kia    FALSE
2    200 hyundai    FALSE
4    300  toyota     TRUE
5    900   lexus     TRUE
> mydat[,-2] # 2열의 값만 빼고 불러옴
  income marriage
1    100    FALSE
2    200    FALSE
3    150    FALSE
4    300     TRUE
5    900     TRUE

마. 반복 구문과 조건문

① for 반복 구문

for 조건 하에 i 값을 하나씩 증가시켜 { } 안의 구문을 반복 실행

> a = c() # 빈 a 벡터 생성
> for (i in 1:9){
+   a[i] = i*i       #1~9까지의 곱을 이루게 함

+ }

> a
[1]  1  4  9 16 25 36 49 64 81

조건 : 1~100까지 i가 1씩 증가하여 100회 반복하여 더하기

> isum = 0
> for (i in i:100){
+   isum = isum+i
+ }
> cat("1~100 sum = ", isum, "\n")
1~100 sum =  5014

② while 반복 구문

for 구문과 다르게 괄호안의 조건이 만족 될 때, 중괄호 안의 구문 반복

for 구문은 반복 횟수를 정하는 반면, while 구문은 정해지 않음

> x=1
> while(x<5){
+   x=x+1
+   print(x)
+ }
[1] 2
[1] 3
[1] 4
[1] 5

③ if~else 조건문

if 조건의 특정 조건이 만족되는 경우 구문 실행, 만족 안되면 else 이하의 조건 부여

> StatScore = c(88, 90, 78, 84, 76, 68, 50, 48, 33, 70 , 48, 66, 88, 96, 79, 65, 27, 88, 96,
+               33, 64, 48, 77, 18, 26, 44, 48, 68, 77 , 64, 88, 95, 79, 88, 49, 30 , 29, 10, 49, 88)
> over70 = rep(0,40)          # 0이 40개인 숫자 벡터
> for (i in 1:40) {  
+ if(StatScore[i]>=70) over70[i]=1     #70 이상이면 i번 째 값을 1로 변경 나머지는 0으로
+ else over70[i]=0 }
> over70
 [1] 1 1 1 1 1 0 0 0 0 1 0 0 1 1 1 0 0 1 1 0 0 0 1 0 0 0
[27] 0 0 1 0 1 1 1 1 0 0 0 0 0 1
> sum(over70)
[1] 18

바. 사용자 정의 함수

function : 사용자가 직접 복잡한 함수 구성 사용 가능

함수 이름 = function(x,y,z) 으로 인수 작성

> addto = function(a){
+   isum=0
+   for(i in 1:a){
+     isum=isum+i
+   }
+   print(isum)
+ }
> addto(100)
[1] 5050
> addto(50)
[1] 1275

사. 기타 유용한 기능들

① paste

- 입력받은 문자열을 하나로 붙여줌

- 'sep=' 옵션을 통해 붙이고자 하는 문자열 사이 구분자를 삽입

> number=1:10
> alphabet=c("a","b","c")
> paste(number, alphabet)
 [1] "1 a"  "2 b"  "3 c"  "4 a"  "5 b"  "6 c"  "7 a"
 [8] "8 b"  "9 c"  "10 a"
> paste(number, alphabet, sep = " to the ")
 [1] "1 to the a"  "2 to the b"  "3 to the c"
 [4] "4 to the a"  "5 to the b"  "6 to the c"
 [7] "7 to the a"  "8 to the b"  "9 to the c"
[10] "10 to the a"

② substr

- 주어진 문자열에서 특정 문자열 추출

> substr("BigDataAnalysis", 1, 4)
[1] "BigD"
> country=c( "Korea" , "Japan" , "China" , "Singapore" , "Russia" )
> substr(country, 1,3)
[1] "Kor" "Jap" "Chi" "Sin" "Rus"

③ 자료형 데이터 구조 변환

- 주어진 객체의 데이터 구조를 다른 구조로 변경 가능

as.data.frame(x) : 데이터 프레임 형식으로 변환

as.list(x) : 리스트 형식으로 변환

as.matrix(x) : 형렬 형식으로 변환

※as.matrix로 데이터 프레임을 행렬로 변환 가능, 단 숫자는 문자 강제변환

as.vector(x) : 벡터 형식으로 변환

as.factor(x) : 팩터 형식으로 변환

as.integer(x) : 정수형 벡터 변환

as.numeric(x) : 수치형 벡터로 변환

as.character(x) : 문자형 벡터로 변환

논리형 변환

as.numeric(TRUE / FALSE) = FALSE 0, TRUE1

as.logical(x) : 0이면 FALSE, 0이 아닌 모든 값을 TRUE

> as.numeric(FALSE)
[1] 0
> as.numeric(TRUE)
[1] 1
> as.logical(0)
[1] FALSE
> as.logical(0.45)
[1] TRUE

④ 문자열을 날짜로 변환

Data 객체 변환

as.Data() : 기본으로 yyyy-mm-dd 가정함, 다른 형으로 변경 시 'format='옵션활용

→ format="%m/%d/%Y" 형으로 변경 사용 가능, Y만 대문자

Sys.Data() : 현재 날짜를 변환

> as.Date("2015-01-13")
[1] "2015-01-13"

> as.Date("01/13/2015",format="%m/%d/%Y")
[1] "2015-01-13"

> Sys.Date()
[1] "2018-08-22"

⑤ 날짜를 문자열로 변환

format(데이터, 포맷)

as.character()

> format(Sys.Date())     #아래와 같은 형식으로 나타남, 형식 변환을 주고 싶음 포맷 안에 포맷 기준작성
[1] "2018-08-22"
> as.character(Sys.Date())
[1] "2018-08-22"
> format(Sys.Date(),format="%m/%d/%Y")
[1] "08/22/2018"

> format(Sys.Date(),'%a')   #요일
[1] "수"
> format(Sys.Date(),'%b')   #월
[1] "8"
> format(Sys.Date(),'%m')   #월, 두자리 숫자
[1] "08"
> format(Sys.Date(),'%d')   #일, 두자리 숫자
[1] "22"
> format(Sys.Date(),'%y')    #연도, 두자리 숫자
[1] "18"
> format(Sys.Date(),'%Y')    #연도, 네자리 숫자
[1] "2018"

5) 그래픽 기능

낮은 단계 그래픽 : 축 설정, 색변경 등

높은 단계 그래픽 : 함수들을 이용해서 하나의 그래프 구현 → 패키지 활용 가능

R 스튜디오에서는 Plot 탭에서 확인 가능

가. 산점도 그래프

plot(x,y) 또는 plot(y ~ x)

평면에 점을 찍어 표현

> height = c( 170,168,174, 175,188,165,165,190 ,173, 168,159,170,184,155,165)
> weight = c(68,65,74,77 ,92 ,63,67 ,95,72,69,60 ,69,73, 56,55 )
> plot(height, weight)

> plot(weight~height)

나. 산점도 배열

pairs(변수, main = 최상단 제목표기, pch= 찍히는 점의 모양, bg=백그라운드 색상)

각각의 변수들에 대해서 각각의 산점도를 한눈에 볼 수 있도록 한 행렬

> pairs(iris[1:4], main="Andreson's Iris Data",

pch=21, bg=c("red", "green3", "blue")[unclass(iris$Species)])

다. 히스토그램과 상자그림

hist(벡터값, prob=T 상대도수 표시)

boxplot(벡터값)

> hist(StatScore)
> hist(StatScore, prob=T) #상대도수 표시, 중간 그래프
> boxplot(StatScore)

제 2절 데이터 마트

모델링 : 데이터 마이닝에서 다양한 분석기법을 적용해 모델을 개발하는 과정

모델링 도구 : DB에서 직접 값을 가져다 변형할 수 있는 기능 제공

모델링 분석에 앞서 수집, 변형 과정 필요 → 정리된 데이터 맡 개발하면 신속한 모델링 가능

데이터 마트 : 데이터의 한 부분, 특정 사용자가 관심 갖는 데이터를 담은 작은 규모의 데이터 웨어하우스

사용자의 요구 항목에 따라 체계적으로 분석하기 위한 다양한 정보를 담은 경영 활동을 도울 시스템

데이터 웨어하우스와는 사용자의 기능 및 제공 범위를 기준으로 구분함(데이터 웨어하우스는 정부기간)

1. R reshape를 활용한 데이터 마트 개발

데이터 셋에 대한 일종의 변형 필요 , 데이터 재정렬 기법이 필요

밀집화(aggregation) : 복잡한 데이터를 축소하거나 재정렬, 엑셀 - 피벗테이블, 단 정보 손실 발생

reshape : 정보를 그대로 유지하는 것이 차이점

- melt : id에 있는 변수를 기준으로 각 변수를 variable 이름의 데이터를 만들고, value에 저장하여 표준형식 변환

- cast : melt 된 데이터를 ~를 이용해 y, x측의 변수 값으로 표시

> install.packages("reshape")
Installing package into ‘C:/Users/YGL_EDU/Documents/R/win-library/3.5’
(as ‘lib’ is unspecified)
trying URL 'https://cran.rstudio.com/bin/windows/contrib/3.5/reshape_0.8.7.zip'
Content type 'application/zip' length 168728 bytes (164 KB)
downloaded 164 KB

package ‘reshape’ successfully unpacked and MD5 sums checked

The downloaded binary packages are in
        C:\Users\YGL_EDU\AppData\Local\Temp\RtmpycHm6F\downloaded_packages
> library(reshape)

> data("airquality")
> head(airquality)
  Ozone Solar.R Wind Temp Month Day
1    41     190  7.4   67     5   1
2    36     118  8.0   72     5   2
3    12     149 12.6   74     5   3
4    18     313 11.5   62     5   4
5    NA      NA 14.3   56     5   5
6    28      NA 14.9   66     5   6
> head(airquality, 10)
   Ozone Solar.R Wind Temp Month Day
1     41     190  7.4   67     5   1
2     36     118  8.0   72     5   2
3     12     149 12.6   74     5   3
4     18     313 11.5   62     5   4
5     NA      NA 14.3   56     5   5
6     28      NA 14.9   66     5   6
7     23     299  8.6   65     5   7
8     19      99 13.8   59     5   8
9      8      19 20.1   61     5   9
10    NA     194  8.6   69     5  10
> names(airquality) #변수명(컬럼명) 확인
[1] "Ozone"   "Solar.R" "Wind"    "Temp"    "Month" 
[6] "Day"   
> names(airquality) = tolower(names(airquality)) # 변수명 대소문자 변경
> names(airquality)
[1] "ozone"   "solar.r" "wind"    "temp"    "month" 
[6] "day"   

> aqm = melt(airquality, id=c("month", "day"), na.rm=TRUE)
> aqm
    month day variable value
1       5   1    ozone  41.0
2       5   2    ozone  36.0
3       5   3    ozone  12.0
4       5   4    ozone  18.0
5       5   6    ozone  28.0
6       5   7    ozone  23.0

> a <- cast(aqm, day ~ month ~ variable)
> a
, , variable = ozone

month
day    5  6   7   8  9

, , variable = solar.r

month
day    5   6   7   8   9
  1  190 286 269  83 167

, , variable = wind

month
day     5    6    7    8    9
  1   7.4  8.6  4.1  6.9  6.9

, , variable = temp

month
day   5  6  7  8  9
  1  67 78 84 81 91

> b <- cast(aqm, month ~ variable, mean) #mean 함수 적용하여 평균값 산출
> b
  month    ozone  solar.r      wind     temp
1     5 23.61538 181.2963 11.622581 65.54839
2     6 29.44444 190.1667 10.266667 79.10000
3     7 59.11538 216.4839  8.941935 83.90323
4     8 59.96154 171.8571  8.793548 83.96774
5     9 31.44828 167.4333 10.180000 76.90000

> c <-cast(aqm, month~ . |variable, mean) # | 이용하여 산출물을 분리해서 표시
> c
$`ozone`
  month    (all)
1     5 23.61538
2     6 29.44444
3     7 59.11538
4     8 59.96154
5     9 31.44828

$solar.r
  month    (all)
1     5 181.2963
2     6 190.1667
3     7 216.4839
4     8 171.8571
5     9 167.4333

$wind
  month     (all)
1     5 11.622581
2     6 10.266667
3     7  8.941935
4     8  8.793548
5     9 10.180000

$temp
  month    (all)
1     5 65.54839
2     6 79.10000
3     7 83.90323
4     8 83.96774
5     9 76.90000

> d <- cast(aqm, month ~ variable, mean, margins = c("grand_row", "grand_col")) # margin 총계 합 구하기
> d
  month    ozone  solar.r      wind     temp    (all)
1     5 23.61538 181.2963 11.622581 65.54839 68.70696
2     6 29.44444 190.1667 10.266667 79.10000 87.38384
3     7 59.11538 216.4839  8.941935 83.90323 93.49748
4     8 59.96154 171.8571  8.793548 83.96774 79.71207
5     9 31.44828 167.4333 10.180000 76.90000 71.82689
6 (all) 42.12931 185.9315  9.957516 77.88235 80.05722

> e <- cast(aqm, day ~ month, mean, subset=variable=="ozone") # 오존에 대한 결과값만 subset 으로 확인
> e
   day   5   6   7   8   9
1    1  41 NaN 135  39  96
2    2  36 NaN  49   9  78
3    3  12 NaN  32  16  73
4    4  18 NaN NaN  78  91

> f <- cast(aqm, month ~ variable, range) # range 최소 값 X1, 최대 값X2을 동시에 표시해 줌
> f
  month ozone_X1 ozone_X2 solar.r_X1 solar.r_X2 wind_X1 wind_X2 temp_X1
1     5        1      115          8        334     5.7    20.1      56
2     6       12       71         31        332     1.7    20.7      65

2. sqldf를 이용한 데이터 분석

표준 SQL에 사용되는 문장 처리 가능, 특수문자는 ' ' 로 묶어줘서 사용 가능

> install.packages("sqldf")
Installing package into ‘C:/Users/YGL_EDU/Documents/R/win-library/3.5’
(as ‘lib’ is unspecified)
trying URL 'https://cran.rstudio.com/bin/windows/contrib/3.5/sqldf_0.4-11.zip'
Content type 'application/zip' length 78176 bytes (76 KB)
downloaded 76 KB

package ‘sqldf’ successfully unpacked and MD5 sums checked

The downloaded binary packages are in
        C:\Users\YGL_EDU\AppData\Local\Temp\RtmpycHm6F\downloaded_packages
> library(sqldf)
필요한 패키지를 로딩중입니다: gsubfn
필요한 패키지를 로딩중입니다: proto
필요한 패키지를 로딩중입니다: RSQLite
Warning message:
패키지 ‘sqldf’는 R 버전 3.5.1에서 작성되었습니다
> data("iris")
> sqldf("select*from iris")
    Sepal.Length Sepal.Width Petal.Length Petal.Width    Species
1            5.1         3.5          1.4         0.2     setosa
2            4.9         3.0          1.4         0.2     setosa

> sqldf("select*from iris limit 10")    # 10개만 보여주기 가능 head 에서 숫자 지정해서 보여주기와 같은 기능
   Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1           5.1         3.5          1.4         0.2  setosa
2           4.9         3.0          1.4         0.2  setosa
3           4.7         3.2          1.3         0.2  setosa
4           4.6         3.1          1.5         0.2  setosa
5           5.0         3.6          1.4         0.2  setosa
6           5.4         3.9          1.7         0.4  setosa
7           4.6         3.4          1.4         0.3  setosa
8           5.0         3.4          1.5         0.2  setosa
9           4.4         2.9          1.4         0.2  setosa
10          4.9         3.1          1.5         0.1  setosa

> sqldf("select count(*) from iris where Species like 'se%'") # like 사용시  ' '작은 따옴표 붙여서 사용
  count(*)
1       50

3. plyr

데이터를 분리하고 처리한 다음, 다시 결합하는 데이터 처리 기능 제공

- apply : 데이터와 출력변수를 동시에 배열로 치환하여 처리할 수 있도록 도와줌

- multi-core

d = 데이터 프레임(data.frame), a = 배열(array), l = 리스트(list)

입력되는 데이터 형태

※ dlply = 데이터 프레임으로 들어와서 리스트 형태로 출력되는 것

> set.seed(1)  # 난수 생성시에 일정하게 고정 시키는 역할
> d = data.frame(year=rep(2012:2014, each = 6), count =round(runif(9,0,20)))
> print(d)
   year count
1  2012     5
2  2012     7
3  2012    11
4  2012    18
5  2012     4
6  2012    18
7  2013    19
8  2013    13
9  2013    13
10 2013     5
11 2013     7
12 2013    11
13 2014    18
14 2014     4
15 2014    18
16 2014    19
17 2014    13
18 2014    13

※ runif = 생성할 난수의 개수, 최소값, 최대값

> ddply(d, "year", function(x){
+   mean.count = mean(x$count)  # 평균값
+   sd.count = sd(x$count)             # 표준편차
+   cv = sd.count/mean.count        # 변동계수
+   data.frame(cv.count=cv)
+ })
  year  cv.count
1 2012 0.5985621
2 2013 0.4382254
3 2014 0.3978489

> ddply(d, "year", summarise, mean.count = mean(count)) #summarise 새로 생긴 변수 값만 보여줌
  year mean.count
1 2012   10.50000
2 2013   11.33333
3 2014   14.16667
> ddply(d, "year", transform, total.count = sum(count)) #transform 계산시 사용된 변수도 함께 보여줌
   year count total.count
1  2012     5          63
2  2012     7          63
3  2012    11          63
4  2012    18          63
5  2012     4          63
6  2012    18          63
7  2013    19          68
8  2013    13          68
9  2013    13          68
10 2013     5          68
11 2013     7          68
12 2013    11          68
13 2014    18          85
14 2014     4          85
15 2014    18          85
16 2014    19          85
17 2014    13          85
18 2014    13          85

4. 데이터 테이블

데이터 프레임과 유사하지만, 보다 빠른 그룹화와 순서화, 짧은 문장 지원이 가능

64비트 RAM이 충분히 많을 때 효율적

행번호가 : 으로 되어 있고 데이터 프레임에서 데이터 테이블 형식으로 쉽게 변환

데이터 프레임보다 데이터 테이블로 생성하는 것이 빠르고 자료를 검색에도 빠름(무조건 빠른것은 아님)

데이터 프레임이 벡터 검색 방식이고 데이터 테이블은 인덱스를 활용한 바이너리 검색 방법

※system.time 으로 검색 속도 알 수 있음

> install.packages("data.table")
Installing package into ‘C:/Users/YGL_EDU/Documents/R/win-library/3.5’
(as ‘lib’ is unspecified)
trying URL 'https://cran.rstudio.com/bin/windows/contrib/3.5/data.table_1.11.4.zip'
Content type 'application/zip' length 1829590 bytes (1.7 MB)
downloaded 1.7 MB

package ‘data.table’ successfully unpacked and MD5 sums checked

The downloaded binary packages are in
        C:\Users\YGL_EDU\AppData\Local\Temp\RtmpycHm6F\downloaded_packages
> library(data.table)
data.table 1.11.4  Latest news: http://r-datatable.com

다음의 패키지를 부착합니다: ‘data.table’

The following object is masked from ‘package:reshape’:

melt

Warning message:
패키지 ‘data.table’는 R 버전 3.5.1에서 작성되었습니다

> DT = data.table(x=c("b","b","b","a","a"), v=rnorm(5)) #rnorm 정규분포에서 5개 난수 생성
> DT
   x            v
1: b -1.539950042
2: b -0.928567035
3: b -0.294720447
4: a -0.005767173
5: a  2.404653389

> data(cars)
> head(cars)
  speed dist
1     4    2
2     4   10
3     7    4
4     7   22
5     8   16
6     9   10
> CARS <- data.table(cars)
> head(CARS)
   speed dist
1:     4    2
2:     4   10
3:     7    4
4:     7   22
5:     8   16
6:     9   10

> tables()      # 테이블의 크기, 용량에 대해서 알 수 있다.
   NAME NROW NCOL MB       COLS KEY
1: CARS   50          2      0   speed,dist   
2:   DT        5          2      0          x,v   
Total: 0MB

> sapply(CARS,class)
    speed      dist
"numeric" "numeric"

> DT[2,] #2번행 조회 DT[2] 로도 검색 가능
   x         v
1: b -0.928567
> DT[DT$x=="b"]
   x          v
1: b -1.5399500
2: b -0.9285670
3: b -0.2947204

> setkey(DT,x)    #키가 x로 정해지고 정렬되었다.
> DT
   x            v
1: a -0.005767173
2: a  2.404653389
3: b -1.539950042
4: b -0.928567035
5: b -0.294720447
> tables()              #키가 x로 정해짐을 알 수 있음
   NAME NROW NCOL MB       COLS      KEY
1: CARS        50     2      0    speed,dist   
2:   DT            5      2      0            x,v         x
Total: 0MB
> DT["b",]
   x          v
1: b -1.5399500
2: b -0.9285670
3: b -0.2947204

> DT["b",mult="first"]    # 첫번째 결과
   x        v
1: b -1.53995
> DT["b",mult="last"]   # 마지막 결과
   x          v
1: b -0.2947204

제 3절 결측값 처리와 이상값 검색

1. 데이터 탐색

1) 데이터 기초 통계

head(테이블이름) : 앞선 6줄만 먼저 보여줌

head(테이블이름, n) : 앞선 n줄만 보여줌, 원하는 개수 넣을 수 있음

str(테이블이름) : 데이터의 구조를 파악 가능

summary(테이블이름) : 기초 통계량 확인, 최소값, 최대값, 사분위값, 평균값, 중위값, 범주형이면 빈도수

cov(테이블 내의 범위) : 공분산

cor(테이블 내의 범위) : 상관계수

→ 선형 상관관계 강도 파악

2. 결측값 처리

결측값도 의미있는 경우가 있음, 어떻게 처리하느냐가 전체 작업속도에 영향을 줌

결측값 처리 패키지 : Amelia II, Mice, mistools

결측값 : NA

불가능한값 : NaN (0으로 나누는 경우 등)

결측값 여부 확인 : is.na

Amilia의 imputation을 사용하면 효율적으로 데이터 결측값을 변경할 수 있음

> y <- c(1,2,3,NA)
> is.na(y)    # 결측값 여부
[1] FALSE FALSE FALSE  TRUE

> mydata[mydata$v1==99, "v1"]<-NA     # 99를 NA로 변경할때

> mydata[!complete.cases(mydata),]       #넓은 범위의 결측값을 삭제할 때

> x<-c(1,2,NA,3)
> mean(x)                    #결측값이 포함되어 있다면 결과는 NA
[1] NA
> mean(x, na.rm=T)    # 결측값을 제외하기
[1] 2

3. 이상값 검색

전처리를 어떻게 할지 결정할 때, 부정사용방지 시스템에서 규칙을 발견할 때 사용

관련 알고리즘 : ESD(평균으로 표준편차 만큼 떨어진 값), MADM

일반적으로 사분위값으로 판단 후 주요 변수 특성 파악, 단 부정사용방지 프로젝트는 집중적으로 봐야함

a1 : 의도하지 않게 잘못 입력한 경우

a2 : 의도하지 않게 입력되었으나 분석 목적에 부합하지 않아 제거해야 하는 경우, 수작업을 거래 정보 입력

a3 : 의도하지 않은 현상이지만 분석에 포함해야 하는 경우, 고객 행동분석

b1 : 의도된 이상값, 사기(fraud)

→ a1, a2는 bad data, a3, b1은 이상값

- 상자그림으로 식별 가능

> x=rnorm(100)
> boxplot(x)
> x=c(x, 19, 28, 30)  #임의의 결측값 넣어줌
> outwith=boxplot(x)
> outwith$out           #결측값 확인 가능
[1] 19 28 30

- outliers 패키지 사용

outliers() : 평균과 가장 큰 차이가 있는 값

> library(outliers)
> set.seed(1234)
> y=rnorm(100)
> outlier(y)   #평균과 가장 차이나는 값 출력
[1] 2.548991
> outlier(y, opposite = TRUE) #반대방향으로 가장 차이 나는 값
[1] -2.345698

> dim(y) = c(20,5) #행 20, 열 5의 행렬 생성
> outlier(y) # 각 열의 평균과 가장 큰 차이가 나는 값 열별로 출력
[1] 2.415835 1.102298 1.647817 2.548991 2.121117
> outlier(y, opposite = TRUE)
[1] -2.345698 -2.180040 -1.806031 -1.390701 -1.372302
> boxplot(y)

제 1절 마스터 플랜 수립

1. 분석 마스터 플랜 수립 프레임워크

- 우선순위 설정 : 전략적 중요도, 비즈니스 성과 및 ROI, 분석과제의 실행 용이성

- 적용범위 및 방식 고려 : 업무 내재화 적용 수준, 별도의 분석 화면 일단 적용할지

 분석 데이터 내/외부 적용 수준 고려, 분석 기술 적용 수준

- 정보전략계획 ISP(Information Strategy Planning) : 기업, 공공기관 시스템 중장기 로드맵 정의 절차

2. 수행 과제 도출 및 우선순위 평가

- 정의된 데이터 과제에 대한 실행 순서를 정하는 것

- 업무 영역별로 도출된 분석 과제를 평가기준에 따라 평가, 과제의 선 후행 관계 고려, 적용 순위 조정

- 전략적 중요도, 실행 용이성 등 기업에서 고려하는 중요 가치 기준에 따라 다양한 관점 우선순위 수립

- 과제 우선순위 평가기준

1) 전략적 중요도

- 전략적 필요성 : 전략적 목표 및 업무에 직접적이 연관관계가 밀접한 정도

    이슈 미해결 시 발생하게 될 위험 및 손실에 대한 정도

- 시급성 : 사용자 요구사항, 업무능률 향상을 위해 시급히 수행되어야 하는 정도

 향후 경쟁우위 확보를 위한 중요성 정도

2) 실행 용이성

- 투자 용이성 : 기간 및 인력 투입 용이성, 비용 및 투자 예산 확보 가능성

- 기술 용이성 : 적용 기술의 안정성 검증, 응용시스템, 하드웨어 유지보수 용이성

 개발 스킬 성숙도 및 신기술 적용성 정도

- 빅데이터 4V

- 투자비용측면 : 크기 - 저장에 따른 비용 투자

    다양성 - 유형에 따라 정형/비정형/반정형, 외부/내부/소셜 등을 입수하는 투자

   생성속도 - 빠르게 가공, 분석하는 기술 요구, 아키텍쳐의 변형에 따른 투자

- 비즈니스 효과 : 가치 - 데이터 분석 통한 달성하고자 하는 목표 가치 

- ROI 요소 고려한 우선순위 평가 기준

- 전략적 중요도에 따른 시급성이 가장 중요한 기준 : 현재 또는 미래 적정 시기 고려

- 분석순위를 고려한 난이도 : 비용, 범위 측면에서 적용하기 쉬운지, 어려운지

- 과제 범위를 시범과제 형태로 할지, 처음부터 크게 할지, 소스는 내/외부 어디까지 쓸지 등

-포트폴리오 4분면 분석을 통한 과제 우선순위 선정 기법

- 우선적인 분석 과제 적용 3영역, 가장 늦은 것은 2영역

- '시급성' : 3 → 4 → 2

※ 1영역은 경영진, 담당자의 의사결정에 따라 조정 가능 난이도 조율에 따라 3으로 변경

- '난이도' : 3 → 1 → 2

기본 시스템 영향 최소화, 별도 분리해서 난이도 조절하면 우선순위 조절 가능

- 분석과제를 일관적으로 할지, 부분적으로 할지에 따른 의사결정 필요

3. 이행계획 수립

1) 로드맵 수립

- 사분면 분석 이후 과제별 적용범위 및 방식을 고려하여 우선순위 최종 결정 후 단계적 구현 로드맵

2) 세부 이행계획 수립

- 폭포수 방식 또는 정련의 과정 반복하여 완성도 높힘, 혼합형 적용

제 2절 분석 거버넌스 체계 수립

1. 거버넌스 체계 개요

- 의사결정 강조될수록 데이터 분석 활용을 위한 관리 중요해짐, 기업문화로 정착하고 분석 업무 고도화

- 거버넌스 체계

- Organization : 분석 기획, 관리 및 추진 조직

- Process : 과제 기획, 운영 프로세스

- System : 분석 관련 시스템, IT 시스템

- Data : 데이터 거버넌스

- Human Resource : 분석 관련 교육, 마인드 육성 체계

2. 데이터 분석 성숙도 모델 및 수준 진단

- 데이터 분석 수준 진단을 통해 무엇을 준비하고 보완해야 하는지 유형 및 분석 방향성 결정

- 경쟁력 확보를 위해 선택과 집중, 보완점 등의 개선방안 도출

1) 분석 준비도(Readiness)

• 분석 업무 파악 : 발생한 사실 분석 업무, 예측 분석 업무, 시물레이션 분석 업무,

최적화 분석 업무, 분석 업무 정기적 개선

• 인력 및 조직 : 분석 전문가 직무 존재, 분석 전문가 교육 훈련 프로그램, 관리자들의 기본적 분석 능력

전자 분석업무 총괄 조직 존재, 경영진 분석 업무 이해 능력

• 분석 기법 : 업무별 적합한 분석기법 사용, 분석 업무 도입 방법론, 분석기법 라이브러리

분석기법 효과성 평가, 분석기법 정기적 개선

• 분석 데이터 : 분석 업무를 위한 데이터 충분성/신뢰성/적시성

비구조적 데이터 관리, 외부 데이터 활용 체계, 기준 데이터 관리(MDM)

• 분석 문화 : 사실에 근거한 의사결정, 관리자의 데이터 중시, 회의 등에서 데이터 활용

경영진의 직관보다 데이터, 데이터 공유 및 협업 문화

• IT 인프라 : 운영시스템 데이터 통합, EAI/ETL 등 데이터 유통체계, 분석 전용 서버 및 스토리지

빅데이터 분석 환경, 통계 분석 환경, 비주얼 분석 환경

2) 분석 성숙도(Maturity)

- CMMI (Capability Maturity Model Integration) : 소프트웨어 공학에서 개발 능력과 조직 성숙도 파악

3) 분석 수준 진단 결과

- 준비형 : 낮은 준비도, 낮은 성숙도 → 사전 준비가 필요한 유형

- 정착형 : 낮은 준비도, 약간의 성숙도 → 분석의 정착이 필요한 유형

- 도입형 : 분석기업은 부족하지만, 조직 인력은 준비가 되어 있음 → 데이터 분석 바로 도입 가능

- 확산형 : 6가지 분석 구성요소 모두 갖추고 부분적으로 도입해 지속적인 확산이 가능한 기업

3. 분석 지원 인프라 방안 수립

- 단위별로는 복잡하고 비용 증대란 부작용, 분석 마스터 플랜을 장기적으로 안정적 고려 필요

- 플랫폼 : 분석 서비스를 위한 응용 프로그램이 실행될 수 있는 기초 시스템, 환경 제공

4. 데이터 거버넌스 체계 수립

- 전사 차원의 데이터 관리체계필요 : 중복 및 비표준에 따른 오류, 활용 저하의 문제점

- 전사 차원의 모든 데이터에 대하여 표준화된 관리 체계 수립하고 운영을 위한 프레임워크, 저장소 구축

- 관리 대상 : 마스터 데이터, 메타 데이터, 데이터 사전

- 가용성, 유용성, 통합성, 보안성, 안정성 확보 가능

- 독자적 수행 또는 전사 차원의 IT 거버넌스나 EA의 구성 요소로 구축

- 빅데이터 관리, 데이터 최적화, 정보보호, 생명주기 관리, 카테고리별 관리 책임자 지정 등

- 데이터 거버넌스 구성요소

- 원칙 : 데이터 유지 관리 위한 지침과 가이드, 보안, 품질기준, 변경관리

- 조직 : 데이터를 관리할 조직의 역할과 책임, 데이터 관리자, 데이터베이스 관리자, 데이터 아키텍트

- 프로세스 : 데이터 관리를 위한 활동과 체계, 작업절차, 모니터링 활동, 측정 활동

1) 데이터 표준화

- 데이터 표준 용어 설정 : 표준단어사전, 표준도메인사전, 표준 코드 구성, 상호점검 가능 프로세스

- 명명 규칙수립 : 언어별로 작성되어 매핑상태 유지

- 메타데이터 구축, 데이터 사전 구축 : 데이터 구조 체계 형성, 구조체계나 엔티티 관계 그래프 제공

2) 데이터 관리 체계

- 정합성 및 효율성을 위한 메타데이터와 데이터 사진의 관리 원칙 수립

- 항목별 상세 프로세스 생성, 관리, 운영을 위한 담당자 및 조직별 역할 책임 준비

- 데이터 생명 주기 관리 방안 수립 필요, 데이터 가용성 및 관리 비용 증대 문제 발생

3) 데이터 저장소 관리(Repository)

- 데이터 관리 체계 지원을 위한 워크플로우 및 관리용 응용 소프트웨어 지원

- 관리 대상 시스템과 인터페이스 통한 통제 필요

- 구조 변경에 따른 사전 영향 평가 수행, 효율적인 활용 가능

4) 표준화 활동

- 표준 준수 여부 주기적 점검, 모니터링 실시

- 안정적인 정착을 위한 계속적인 변화관리 및 주기적 교육 진행

- 표준화 개선 활동을 통한 실용성 증대

5. 데이터 조직 및 인력방안 수립

- 데이터 분석 조직

목표 : 기업의 경쟁력 확보를 위한 가치 발견, 최적화 목표

역할 : 업무 전반에 걸친 분석 과제 발굴, 의미있는 인사이트 찾아 실행하는 역할 수행

구성 : 다양한 분야의 지식과 경험을 가진 인력과 업무 담당자로 구성된 전사 또는 부서 내 조직

- 분석 조직 및 인력 구성 시 고려사항

- 분석 조직 구조

1) 집중형 조직구조

- 조직내 별도의 전담조직, 분석을 담당하여 전사의 분석 과제 우선순위 추진 가능

- 현업 부서와 분석 업무가 중복 또는 이원화 될 가능성

2) 기능 중심의 조직구조

- 일반적형태, 각 해당 업무 부서에서 직접 분석

- 전사적 관점의 핵심 분석 어려움, 특정 부서에 국한될 수도 중복될 수도 있음

3) 분산된 조직 구조

- 분석 조직 인력이 현업 부서에 배치함

- 전사적 차원의 우선순위 선정 수행 가능, 분석 결과 신속히 실무에 적용 가능

※ 분석 전문 부서에 모아 인재들을 모아 구성, 조직 경쟁력 극대화 필요

6. 분석 과제 관리 프로세스 수립

- 과제 발굴 : 개별 조직이나 개인 아이디어 발굴, 과제화하여 풀로 관리하면서 프로젝트 선정

- 과제 수행 및 모니터링 : 팀을 구성하여 과제 실행, 지속적인 모니터링과 과제 결과 공유 및 개선

→ 조직 내 분석 문화 내재화 및 경쟁력 확보 가능, 풀을 잘 축적 관리 함으로 시행착오 최소화 가능

7. 분석 교육 및 변화 관리

- 분석 가치를 극대화, 내재화 하는 안정적인 추진기로 들어가기 위해서는 교육 및 마인드 육성 필요

- 분석 도입에 대한 문화적 대응

- 데이터 분석 방법 및 분석적 사고 교육

제 1절 분석 기획 방향성 도출

분석기획 : 실제 분석 수행 전, 수행할 과제의 정의 및 의도했던 결과를 도출할 수 있도록 관리할 사전 방안을 계획하는 작업

어떠한 목표(What)를 달성하기 위해서(Why) 어떤 데이터를 가지고 어떤 방식으로(How) 수행할지 계획 수립

1. 분석 기획의 특징

-IT  기술 및 분석 기법에 치우치는 경향을 조심해야함, 균형잡힌 시각을 가지고 방향성 및 계획 수립

1) Math&Statistics

2) Information Technology

3) Domain Knowledge

- 분석의 대상(what) 및 분석의 방법(how)에 따른 분석 주제 유형