Chap 7-1~3 Linear Regressions

7-1. Overview

Linear Regression

사이킥 런을 통해 Linear Regression 사용하기

머신러닝 학습 방법들

1)Gradient Descent - 실제 값과 학습된 모델의 예측치 오차 줄이기

2)Probability theory

3)Informaion theory

4)Distance similarity 

f(x) = y = ax+ b

a와 b를 찾아내는 것이 Linear Regression의 기초

오차의 합 -> 상쇄가 될 수 있음

오차 제곱의 합으로 수정

최소 최대 문제이기에 미분으로 해결!

즉, 오차 제곱의 합을 최소화 할 수 있는 값을 미분으로 찾아낸다!

7-2. Linear Regression - Cost function

f(x) = h0(x)

예측 함수를 가설 함수라고 부름

실제 값과 가설 함수의 차이를 cost function이라고 부름

cost function 가설 공식 

arg min을 통해서 차이를 가장 최소화 할 수 있는 값 찾아라

7-3. Linear Regression - Normal equation

일반적인 gradient 방식으로 한 칸씩 내려오는 방법이 아닌 한번에 찾아가기에 Normal equation을 활용할 수 있다

벡터는 소문자 볼드 , 매트릭스는 대문자 볼드로 표시

w0와 w1 값을 찾기 위한 연릭방정식 전개

X의 역행렬만 구할 수 있다면 Normal equation을 구할 수 있다!