[물음표/느낌표] 02. learning rate
learning rate은 수렴 속도를 결정하는데,
만약 크다면 -> 수렴 속도가 빨라서 local minimum을 무시하고 지나칠 수 있지만, global minimum에 도달하지 못하고 계속 맴돌기만 해.
대신 작다면 -> 언젠가 global minimum에 도달할 순 있겠지만 local minimum에 빠질 위험이 있다.
=> 따라서 흔히는 , 초반에는 크게크게 가다가 조금조금씩 가도록 조절을 해준다.
=> 초반에는 학습률을 크게 설정해서 지역 최소값에 빠지지 않게 하고, 점진적으로 학습률을 줄여가면서 전역 최소값에 도달하게 하는 방법을 사용하기도 한다. (learning rate annealing)
'데이터 스터디 > Stats\ML' 카테고리의 다른 글
| 08-1. 정규화 : L2 정규화, Ridge regression (0) | 2022.03.05 |
|---|---|
| 07. 과적합(Overfitting)과 정규화(Regularization) (0) | 2022.03.04 |
| 06. Gradient Descent (0) | 2022.02.27 |
| 05. Loss function(손실함수) - 회귀&분류 (0) | 2022.02.19 |
| 04-2. Regression(회귀) - 로지스틱회귀 (0) | 2022.02.18 |