Python機械学習プログラミング.メモ

2.4, 2.5 ADALINE, 2.6 確率的勾配降下法

  • ADALINEはコスト関数を用いることでパーセプトロンのステップ関数とは違い,連続値を出力.
  • classfyする時は連続値をある値で区切って量子化(0 or 1)する.
  • 連続値を出力すると微分できるので重みの更新する方向がわかるのがメリット
  • ADALINEはデータセットのサンプル全体からコストを計算して重みを更新.パーセプトロンはデータセットの1回1回のサンプルで重みを更新.

ADALINEはデータセットが大きいと計算コストが大きくなる→そこで,パーセプトロンと同様に1回1回のサンプルで更新しなおかつコスト関数を用いる確率的勾配降下法(Online学習)というものを用いる.確率的勾配降下法は更新頻度が多いため,遥かに高速に収束する.
→疑問:ADALINEの特徴はどちらかというとコスト関数? オンライン学習は出てくるサンプルの順番に影響されやすく,ADALINEの全体を使った更新はデータセット全体の影響を受けやすい?(ただし順番の影響を受けない)のだろうか?