[멋사] AI SCHOOL 5기_ Day 17

기술통계분석

DataFrame의 기술통계량 함수다.

# 화장품 구매 관련 정보가 들어있는 csv파일을 불러와 데이터프레임으로 만들어줌
df = pd.read_csv('cosmetices_csv')

# '1회 평균 구매 비용' 기준
# 최댓값
df['amount'].max()

# 최솟값
df['amount'].min()

# 합계
df['amount'].sum()

# 평균값
df['amount'].mean()

# 분산(variance)
df['amount'].var()

# 표준편차(standard deviation)
df['amount'].std()

기술통계를 할 때는 왜도와 첨도를 첨부하는 경우가 많다.

왜도 (Skewness) : 분포가 좌우로 치우쳐진 정도!  0에 가까울수록 정규분포라고 가정할 수 있다(절대값 기준 3 미초과)

출처_ https://www.oppadu.com/%EC%97%91%EC%85%80-skew-%ED%95%A8%EC%88%98/

첨도 (Kurtosis) : 분포가 뾰족한 정도!  1에 가까울수록 정규분포라고 가정할 수 있다(절대값 기준 8 또는 10 미초과)

출처_ https://blog.naver.com/moses3650/220880815585

 

Outlier(이상치) 탐지 

Box plot

Box plot(박스 플롯)은 수치 데이터를 표현하는 하나의 방식이다.

최소값(min), 제 1분위 수(Q1), 제 2분위 수 또는 중위수(Q2), 제 3분위 수(Q3), 최대값을 사용해 그려진다.

df.boxplot(column='컬럼명')

출처_ https://www.isixsigma.com/dictionary/box-plot/

• 상한치: 바닥부터 75% 지점의 값(Q3) + IQR의 1.5배
• 하한치: 바닥부터 25% 지점의 값(Q1) - IQR의 1.5배
• → 이 기준을 넘기면 Outlier로 판단 가능

 

교차분석

교차분석(cross-tabulation analysis)은 두 범주형 변수 간의 연관성에 유의한 차이가 있는지를 확인하기 위해 교차표를 만들어 관계를 확인하는 분석 방법이며, 카이제곱 검정(Chi-square test)이라고도 한다. 

• 대립가설(Alternative hypothesis): 유의미하다
• 귀무가설(Null hypothesis): 유의미하지않다, 전혀 관계 없다

import scipy as sp
from scipy import stats 

stats.chisquare(df.propensity, df.skin)

위 코드를 실행하면 p-value 값을 얻을 수 있다.

여기서 p-value (probability value)는 확률값이다. 귀무가설이 참이라는 전제 하에(조건), "관찰이 완료된 값 혹은 그보다 더 극단적인 값"이 표본(샘플데이터)을 통해 나타날 (조건부) 확률이다. 확률값이기 때문에 p값이 가질 수 있는 값은 0부터 1까지다. 

• p-value가 0.05(5%) 미만일 경우 = 귀무가설이 참일 때 해당 관측치가 나타날 확률이 매우 낮다고 판단하며, 귀무가설을 기각한다.
• p-value가 0.05(5%) 이상일 경우 = 귀무가설이 참일 때 해당 관측치가 나타날 확률이 충분하다고 판단하며, 귀무가설을 기각하지 않는다.

** 주의할 점은, p-value가 0.05 이하라는 것이 항상 대립가설이 맞다(연구 결과가 참이거나 효과가 있다)는 것을 뜻하는 것은 아니라는 것이다.

 

t-test(t 검정)

t-검정은 가설 검정을 사용하여 하나 또는 두 모집단의 평균을 평가하는 도구다.

독립표본 t-test (2표본 t-검정)는 알 수 없는 두 그룹 모집단 평균이 같은지 여부를 검정하는 데 사용되는 방법이다.

stats.ttest_ind(df[df['gender']==1]['satisf_al'], df[df['gender']==2]['satisf_al'])

위 코드의 실행결과는 다음과 같다.

Ttest_indResult(statistic=-0.494589803056421, pvalue=0.6213329051985961)

pvalue값이 0.05이상이므로 귀무가설을 기각하지 않는다.

즉, "서로 다른" 성별 간에 전반적인 만족도의 평균값 사이에 유의미한 차이가 "없다"는 것이다.

 

대응표본 t-test 는 동일한 모집단으로부터 추출된 두 변수의 평균값을 비교 분석하는 방법이다.

stats.ttest_rel(df["satisf_b"], df["satisf_i"])

위 코드의 실행결과는 다음과 같다.

Ttest_relResult(statistic=-7.155916401026872, pvalue=9.518854506666398e-12)

pvalue값이 0.05미만이므로 귀무가설을 기각한다.

즉, "동일한" 고객 집단이 평가한 구매 가격에 대한 만족도와 구매 문의에 대한 만족도의 평균값 사이에 유의미한 차이가 "있다"

 

분산분석(ANOVA, Analysis of Variance)

분산 분석은 3개 이상 다수의 집단을 비교할 때 사용하는 가설검정 방법이다.

stats.f_oneway(anova1, anova2, anova3)

위 코드의 실행결과는 다음과 같다.

F_onewayResult(statistic=4.732129410493065, pvalue=0.009632034309915485)

pvalue값이 0.05미만이므로 귀무가설을 기각한다.

즉, "3가지" 구매 동기에 따른 전반적인 만족도의 평균값 중 적어도 하나는 유의미한 차이가 "있다"

 

상관관계분석(Correlation Analysis)

상관분석은 두 변수간에 어떤 선형적 관계를 가지는지 분석하는 기법으로 상관계수를 이용하여 측정한다. 상관 분석에서 기본적으로 사용되는 상관계수는 피어슨(Pearson) 상관계수며, 연속형 변수의 상관관계를 측정한다.

피어슨 상관 계수는 -1에 가까울수록 음의 상관관계, 1에 가까울수록 양의 상관관계, 0에 가까울수록 상관관계가 아니라는 것을 의미한다.

출처_ https://www.sasbigdata.com/entry/stats-correlation-analysis-covariance-pearson-spearman-kendall

다음은 피어슨 상관 계수 해석 기준이다. (학계별로 차이가 있다)

출처_ https://www.semanticscholar.org/paper/User's-guide-to-correlation-coefficients-Ako%C4%9Flu/dd7ceee5b05eb672e850140220f7db44ead3968f/figure/1