[멋사] AI SCHOOL 5기_ Day 31

K-Means Algorithm

비지도학습의 Clustering(군집화) 도구다. 

비슷한 데이터는 같은 그룹으로 묶고, 비슷하지 않은 데이터는 다른 그룹으로 떨어뜨리는 것이 목표다.

여기서 K 값은 클러스터 개수를 의미하며 직접 지정하는 hyper-parameter인데, 최적의 클러스터 개수를 정하는 것이 어렵고 중요하다.

 

K-Means의 원리는 다음과 같다.

1. K개의 임의의 중심값을 고른다. (보통 데이터 샘플 중의 하나를 선택)

2. 각 데이터마다 중심값까지의 거리를 계산하여 가까운 중심값의 클러스터에 할당한다.

3. 각 클러스터에 속한 데이터들의 평균값으로 각 중심값을 이동시킨다.

4. 데이터에 대한 클러스터 할당이 변하지 않을 때까지 2와 3을 반복한다.

 

iris 데이터를 가지고 K-Means를 돌려 시각화해보았다.

# 사용한 라이브러리
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D  
from sklearn import cluster
from sklearn import datasets
from sklearn import metrics

 

 (좌) k=8      (우) k=3 

 

최적의 클러스터 갯수 찾기 (2가지 방법 제시)

1️⃣ 엘보우(elbow) 기법

SSE(Sum of Squared Errors, 오차제곱합)의 값이 최소가 되도록 결정하는 방법이다.

Y축(SSE)은 데이터포인트 각각에서 해당 클러스터 중심까지의 거리를 계산한뒤 그 각각을 제곱해서 더한 값이다.

따라서 클러스터가 많아질수록 각각의 중심이 많아지니까 SSE가 줄어들 수 밖에 없다.

결과물인 그래프 모양을 보고 팔꿈치에 해당하는 부분이 최적의 클러스터 개수가 된다.

elbow 기법

iris 데이터를 가지고 돌려본 결과다. 이 결과를 보면 K값으로 2나 3을 택할 것이다. 

→ 시각적 자료로 딱 확정짓기에는 애매한 부분이 있다. 

 

2️⃣실루엣(silhouette) 기법

클러스터링의 품질을 정량적으로 계산해주는 방법이다. 이 방법은 K-means 뿐만 아니라 모든 클러스터링 기법에 적용 가능하다.

실루엣 계수 구하는 공식

위 공식에서 a(i)는 클러스터 내 데이터 응집도(cohesion)를 나타내는 값이고, b(i)는 클러스터 간 분리도(separation)를 나타내는 값이다. 만약 클러스터 개수가 최적화되어 있다면 b(i) 값은 크고, a(i) 값은 작아져 s(i)의 값은 1에 가까운 숫자가 될 것이다. 반대로 클러스터 내 데이터 응집도와 클러스터간 분리도의 값이 같으면 s(i) 값은 0에 가까워질 것이다. 그러면 클러스터로 분리하는 것이 무의미해진다.

# 실루엣 계수 평균구하는 방법
from sklearn.metrics import silhouette_score

model = cluster.KMeans(n_clusters=2) # Change the number of clusters
y_fitted = model.fit_predict(X)

silhouette_avg = silhouette_score(X, y_fitted)
print("The average of silhouette coefficients is :", silhouette_avg)

이렇게 구한 값이 0.7 언저리면 쓸만하다고 판단한다.

⚠️ 중요한 점은 두 가지 방법 모두 이론적인 숫자계산이라는 점이다. 어떤 의도가 있다거나 활용할만한 사전 지식이 있다면 그걸 사용하는것이 가장 유리하다!

 

---

PCA

PCA (Principal Component Analysis, 주성분 분석)는 대표적인 차원축소 알고리즘이다.

데이터의 끝과 끝을 찾아 축을 만들고, 그 축에 직교하는 선에서 또 데이터의 끝과 끝을 찾아 축을 만든다. (있어보이게 말하면, 분산이 가장 큰 축을 찾는 것이다) 그 축들을 가지고 평면을 만들어 데이터를 붙여내는 것이 PCA다.

여기서도 principal component가 hyper-parameter로 작동하고 몇개로 가져갈건지가 중요하다.

 

iris 데이터를 가지고 components를 3으로 설정한뒤 시각화한 자료다.

                               (좌) 2PC             (우) 3PC

 

+ 몇 개의 PC면 충분할까?

분산의 비율이 95%를 넘어가면 안정적이라고 판단한다!

# np.argmax : 최대값의 인덱스를 리턴
# np.cumsum : 누적된 합계를 계산 (cumulative sum)

np.argmax(np.cumsum(model.explained_variance_ratio_) >= 0.95 ) + 1