[머신러닝] 미분
수학에서의 '함수'
하나의 input에 대해서 하나의 output만 가져야 함
$$y=3x+6$$
$$=>f(x)=3x+6$$
>> y는 x에 대한 함수라고 함
함수사용의 예시 : $$BIM = \frac{몸무게}{키*키}$$
그래프
수학식을 시각적으로 표현하는 방법 >> 함수의 특징을 쉽게 파악 할 수 있음
평균 변화율과 순간 변화율
기울기 : x가 변화할 때, y는 얼마나 빠르게 변화하는지 >> 그래프가 해당 지점에서 얼마나 기울어져있는지를 알 수 있음
- 1차식의 기울기 : 직선의 그래프의 경우 어떤 지점에서든 기울기가 항상 같음
- 2차식의 기울기 : 곡선의 기울기는 위치마다 바뀜
평균 변화율 : 특정 지점 사이의 기울기
순간 변화율 : a와 b간의 범위(h)를 극한으로 줄여서 순간 변화율을 구할 수 있음 (limit)
미분
미분이란 순간 변화율, 즉 그 지점에서의 기울기를 구해주는 함수
$$f(x)=x^{2}+2x-1\;\;>>\;\;f'(x)=2x+2$$
>> f'(x)는 기존 함수 f(x)의 미분
기울기의 기본개념
📉기울기가 음수이면, x가 커질수록 y는 작아짐
📈기울기가 양수이면, x가 커질수록 y도 커짐
🚦기울기가 0에서 멀어질수록, 기울기가 가파르다는 것
🚥기울기가 0에 가까워질수록, 기울기가 평평해진다는 것
극소점과 극대점
극소점
- 아래로 볼록 튀어나온 부분
- 아래로 볼록 튀어나온 부분 중, 제일 작은 값을 최소점이라고 함
- 아래로 볼록 튀어나오기 위해서는 왼쪽으로는 기울기가 음수이고, 오른쪽으로는 기울기가 양수임
극대점
- 위로 볼록 튀어나온 부분
- 위로 볼록 튀어나온 부분 중, 제일 작은 값을 최대점이라고 함
- 위로 볼록 튀어나오기 위해서는 왼쪽으로는 기울기가 양수이고, 오른쪽으로는 기울기가 음수임
안장점
- 극대점도 아니고, 극소점도 아닌 경우
- 기울기가 음수 -> 양수로 바뀌거나, 양수 -> 음수로 바뀌는것이 아니라, 기울기는 항상 양수이나, 기울기가 평평해졌다가 다시 가팔라지는 경우임
다변수 함수에서의 미분
편미분 : 함수를 변수 하나에 대해서만 미분하는 것 >> 미분하지 않을 변수는 상수 취급
$$f(x,y)=x^{2}+2y^{2}$$
- x에 대해서만 미분
$$\frac{\partial}{\partial x}f(x,y) =2x$$
- y에 대해서만 미분
$$\frac{\partial}{\partial y}f(x,y) =4y$$
>> 두 결과를 합쳐서 벡터로 만들 수 있음
$$\triangledown f(x,y)=\binom{2x}{4y}$$
예) $\triangledown f(1,1)=\binom{2}{4}$ 의 뜻
- y=1로 고정되어 있고, x=1일 때의 함수 f의 기울기는 2
$$ 즉, f(x,1) = x^{2} +2\;일\;때의\;f'(x=1) = 2*1 = 2$$
- x=1로 고정되어 있고, y=1일 때의 함수 f의 기울기는 4
$$ 즉, f(1,y) = 1^{2} +2y^{2}\;일\;때의\;f'(y=1) = 4*1 = 4$$
머신러닝에 미분이 필요한 이유
함수를 미분하면 특정 지점에서의 기울기(=순간변화율)을 알 수 있음
- 함수의 최소, 최대 지점이 어디인지
- 함수가 어디서 증가하고, 어디서 감소하는지
머신러닝과 미분
- 경험을 통해 특정 작업에 대한 성능이 좋아지는 프로그램
- 머신러닝 모델의 최적화를 위해서는 함수의 극소점이나 극대점을 찾아야함
📖 참고 강의
[코드잇] 머신 러닝 기본기