[PyTorch] 学習率スケジューリング – Cosine decay rule

 今回は学習率をエポックが進むごとに変化させるルール、学習率スケジューリングについて解説、検証します。 ※検証結果については後日書きます  lossの推移に近いルール、Cosine関数に従うルールの2つについて書いていき … 続きを読む [PyTorch] 学習率スケジューリング – Cosine decay rule