勾配降下法と確率的勾配降下法

このまとめが図が豊富で分かりやすい。 ここでは言葉で簡単にまとめる。

勾配降下法

  • 全サンプルにわたって蓄積された誤差を用いて、重みを更新する
  • 誤差曲面を、まっすぐに進むことが多い
  • サンプル数が数百万点など多くなると、計算コストが大きくなりがち
  • バッチ勾配降下法とも呼ばれる

確率的勾配降下法

  • 1サンプル毎に、重みを更新する
  • 重みの更新頻度が多いことから、収束が早い
  • ランダムに更新するため、誤差曲面もくねくねと進む
  • 誤差曲面の動き方の特徴から、局所的な極小値を抜けやすい？
  • 学習が進むにつれて、学習率を小さくすることもある
  • サンプルが届くたびに学習するオンライン学習も可能
  • 逐次的勾配降下法やオンライン勾配降下法とも呼ばれる

ミニバッチ学習