[멋사] AI SCHOOL 5기_ Day 29

Linear Regression(선형 회귀)

정답이 있는 데이터의 추세를 잘 설명하는 선형 함수를 찾아 x에 대한 y를 예측하는 것이다.

- 1개의 독립변수(x)가 1개의 종속변수(y)에 영향을 미칠 때, 단순 회귀분석이라 하고 y = ax + b 형태의 식을 세운다.

이때 a는 가중치(weight), b는 보정치 또는 편향(bias)라고 한다.

- 2개 이상의 독립변수(x)가 1개의 종속변수(y)에 영향을 미칠 때, 다중 회귀분석이라 하고 다음과 같은 형태의 식을 세운다.

다중 선형 회귀

여기서 머신러닝은 최적의 Theta set를 찾기 위해 실제값과 가설로부터 얻은 예측값의 오차를 계산하는 식을 세우고, 이 식의 값을 최소화하는 방식을 사용한다. 이때 실제값과 예측값에 대한 오차에 대한 식을 Cost Function(비용함수) 또는 Loss Function(손실함수) 또는 Objective Function(목적함수)이라 한다. 하나 주의할 점은, 목적 함수는 최소화하는 방향으로 문제를 풀면 비용함수와 동일하지만, 최대화하는 방향으로 문제를 풀면 달라진다. 목적함수 안에 비용함수가 포함되는 개념이다.

선형회귀의 경우 cost function으로 MSE Function(Mean Squared Error Function, 평균제곱오차함수)을 사용한다. 

→ MSE(Cost)가 최소가 되도록 하는 Theta(parameter)를 찾아야 한다.

→ 어떻게? 경사하강법으로!

 

Gradient Descent Algorithm(경사하강법)

1. 변수(쎄타)의 초기값을 설정 - 랜덤하게 지정한다
2. 현재 변수 값에 대응되는 Cost function의 경사도 계산(미분) - 미분하면 기울기가 나온다.
3. 변수를 경사방향(기울기의 음의 방향=Gradient의 음의 방향)으로 움직여 다음 변수 값으로 설정
4. 1~3을 반복하며 cost function이 최소가 되도록 하는 변수 값으로 근접해 나간다.

 

Logistic Regression (로지스틱 회귀)

이진 분류(binary classification) 문제를 해결하기 위한 모델이다.

시그모이드 함수(sigmoid function)를 이용하여 기본적으로 특정 input data가 양성 class에 속할 확률을 계산한다.

로지스틱회귀의 경우 cost function으로 Cross-entropy Function을 사용한다. 

 

Softmax Algorithm(소프트맥스 알고리즘)

모델 아니고 함수다!

일종의 normalization(정규화)으로 볼 수 있다. 대소비교 안바뀌고, 전부 다 합하면 1이 된다.