선형 회귀(Linear Regression)

선형 회귀(Linear Regression)

$$ H(x)=Wx+b $$

1. 초기에 랜덤한 w와 b값을 생성 -> 초기 w, b값은 정답과는 거리가 멀 것.

2. 가설과 실제 정답 간의 차이(오차, 손실, 비용, loss, cost)를 구함 -> H(가설) - Y(정답)

3. 손실함수의 값을 최소화 할 수 있는 W, b를 찾아내야 함

 

 

MLR(Multi-variable Linear Regression)

$$ y=Wx_{1}+Wx_{2}+...+Wx_{i}+b $$

MLP(Multi-variable Linear perceptron)처럼 문자 그대로 다중 선형 회귀로, 입력이 여러개임. 예측값이 여러 요소들의 영향을 받음 -> 최근에 이 기술을 기반으로 한 분야를 딥러닝이라고 함

 

손실 함수(Loss Function)

loss function을 구하는 대표적인 방법인 Mean Squared Error(MSE)는 아래와 같은 형태임

$$ cost(W, b) = \frac{1}{m}\sum_{i=1}^{m} (H(x_{i})-y_{i} )^{2} $$

 

 

최적화 함수(Optimizer)

-> 가중치에 대해 오차함수가 가장 작은 지점을 구함

대표적인 optimizer인 경사하강법(Gradient Descent) : 현재 위치에서 오차함수의 미분값 -> 양수라면 음의 방향으로 이동, 음수라면 양의 방향으로 이동 -> 미분값 -> 이동 -> (반복) -> 미분값이 0에 가까운 점으로 이동하며 W를 구함 

 

 

참고할 사이트

https://wikidocs.net/21670

3) 선형 회귀(Linear Regression)