[SQLD][아답터] 3과목 - 1. R 기초와 데이터 마트

[R 기초와 데이터 마트]

1-1. 데이터 마트
1-1-1. 데이터 마트(DM)
1-1-2. 요약변수와 파생변수

2-1. 결측값 처리와 이상값 검색
2-1-1. EDA(탐색적 자료 분석)
2-1-2. 결측값 처리

[R 기초와 데이터 마트]

1-1. 데이터 마트

1️⃣ 데이터 마트(DM)

🔹 특정 주제에 맞게 데이터를 모아 놓은 소규모 데이터 웨어하우스

🔹 원천 데이터 수집 ➜ 데이터 웨어하우스 ➜ 데이터 마트

2️⃣ 요약변수와 파생변수

🔹 요약변수

- 수집된 정보를 종합한 변수로서 재활용성이 높음

- 예 : 요약한 정보의 평균을 내는 변수

🔹 파생변수

- 의미를 부여한 변수

- 논리적 타당성 필요

2-1. 결측값 처리와 이상값 검색

1️⃣ EDA (탐색적 자료 분석)

🔹 데이터의 의미를 찾기 위해 통계, 시각화를 통해 파악

🔹 EDA의 4가지 주제

- 저항성의 강조 : 자료 변동에 민감하지 않음

- 잔차 계산 : 값들이 주경향으로부터 얼마나 벗어나 있는지 확인하는 척도

- 자료변수의 재표현 : 원래 변수를 적당한 척도로 변환

- 그래프를 통한 현시성 : 시각화를 통하여 효율적으로 파악

✔️  "저잔재현"으로 암기

2️⃣ 결측값 처리

존재하지 않는 데이터, NULL / NA 로 표시

➜  시스템상 오류나 사용자의 미입력 등으로 인해 데이터가 존재하지 않을 수 있음

 

🔹단순대치법

1) 완전분석법 : 결측값을 가지는 데이터를 삭제

2) 평균 대치법 

- 비조건부 평균 대치법 : 단순 평균으로 대치 ➜ 나머지 데이터들의 단순 평균으로 대치

- 조건부 평균 대치법 : 회귀분석의 결과로 대치 ➜ 각 데이터의 특징을 가지고 분석하여 대치

3) 단순 확률 대치법 : 확률적으로 선택하여 대치

- Hot-Deck : 현재 데이터 셋에서 비슷한 성향으로 대체

- Cold-Deck : 유사한 외부 출처에서 비슷한 성향으로 대체

- Nearest Neighbor : 바로 가까운 응답으로 대체

 

🔹다중 대치법

- 여러 번 대치하여 종합 (대치 ➜  분석 ➜  결합)

※ 다중 대치법은 분산 과소 추정 문제 해결이 가능

3️⃣ 이상값 검색

- 극단적으로 크거나 같은 값이며, 의미 있는 데이터일 수도 있음

- 이상값을 항상 제거하는 것은 아님

 

🔹ESD(Extreme Studentized Deviation)

- 평균으로부터 표준편차의 3배 넘어가는 데이터는 이상값으로 판단

 

🔹사분위수 (박스플롯)

- Q1 - 1.5IQR보다 작거나 Q3 + 1.5IQR보다 크면 이상값으로 판단

➜ Q1 : 25% / Q2 : 50% / Q3 : 75%

- 상한, 하한, 최솟값, 1~3사분위값, 최댓값 등을 표현하며 평균값은 표현하지 않음

 

※ 박스플롯

❗ 사분위수는 시험에 잘 나오는 중요한 부분이 꼭 알아두기

 

💡 시험문제 예시 (그래프 해석)

➜ 해당 그래프에서는 전체 데이터의 개수를 알 수 없으므로 평균은 알 수 없음

 

🔹Z-Score

- 데이터를 표준화(평균 0, 표준편차 1) 후, 일정 임계 값을 초과할 경우 이상값으로 판단

 

🔹DBScan

- 밀도를 이용하여 밀도가 적은 부분의 데이터를 이상값으로 판단

---

🔗 출처

[SQLD 완벽 요약강의]