2018. 7. 6. 17:54
Deep Learning/NN by Sung Kim
미분 정리하기 강좌를 정리한다.
미분
아주 작은 값을 대입하여 순간변화율을 구하는 것이다. 변화율은 기울기로 표현할 수 있다. 미분은 Gradient Descent에서 필수적인 공식이다.
편미분 (Partial derivative)
내가 관심있는 값은 미분하고 나머지는 상수로 치환하여 계산한다.
- 상수 함수 미분하면 = 0
- 2x 는 x + x 이고 x를 각각 미분하면 각각 1 + 1 = 2가 됨
- x + 3 은 1 + 0 이므로 1이다.
Chain rule에서 x가 f에 영향을 미치는 값을 알고 싶을 경우 미분으로 표현한다.
참조
'Deep Learning > NN by Sung Kim' 카테고리의 다른 글
| [Deep Learning] Weight 초기화 잘하기 (0) | 2018.07.09 |
|---|---|
| [Deep Learning] TensorBoard 사용 및 ReLU 개념 (0) | 2018.07.09 |
| [Deep Learning] XOR 문제 풀기 과정 및 수식 (0) | 2018.07.06 |
| [Tensorflow] Manipulation - matmul, reshape, zip, etc (0) | 2018.07.06 |
| [Deep Learning] 역사 (0) | 2018.07.05 |
