AI Convergence

ML Tips 강좌를 정리한다.

Learning rate 정하기

경사를 따라 내려가는 정도를 Learning rate이라 한다. 학습rate을 잘 정하는 것이 중요하다. 

- learning rate을 큰값을 사용할 때 밖으로 튕겨 나갈 때(overshooting) 잘 못된 값이다.

- learning rate이 작은값이면 step이 작아서 멈춰버릴 수 있다. 

해결 주로 초기에 0.01 으로 시작하고 작게 또는 크게 적용해 본다.

Big Learning rate

5 스텝에서 값이 무한대로 가버린다.

Small Learning rate

198 스텝이 되어도 cost의 값이 작지 않다면 의심해 봐야 한다. 

Data (X) preprocessing

Weight이 여러개 일때 2차원으로 표시할 경우 경사면을 따라서 낮은 지점에 내려가는 것이 목적이다. 데이터간 큰 차이가 있을 때 노말라이즈(Normalize)를 수행한다. 

- 0에 수렴되게 하거나

- 특정 범위안에 놓이게 하거나

학습이 제대로 이루어지지 않고 있다면 데이터중에 차이가 큰값이 있을 수 있다. 이를 제거하기 위해 Normalize를 한다. 

Learning rate도 적절한데 결과에 NaN이 있거나 이상하다면 Normalize 안된 Input값을 의심해 본다. w1, w2의 그래프를 보면 길게 늘어져 있으면 None Normalize이다.

해결하는 방법: MixMaxScaler(xy)를 사용한다.

예제 일부 코드

Overfitting

학습데이터가 실제에 잘 맞지 않을 경우. 

- model은 일반적으로 적용가능하다 (regularization: 일반화)

- model2는 Overfitting으로 주어진 데이터에 specification되어 있다. => 특정 데이터에 맞춰서 선이 구부러져 있을 때 

Cost function에 Regularization(일반화)를 해준다. 선이 구부러진다는 것은 값이 커지는 것이므로 이를  조절 한다. 

Cost function = 기존 cost function + (람다*합W2)

람다: regularization strength

참조

- 김성훈교수님의 ML Tips 강좌

- 김성훈교수님의 Tips 실습 강좌