パターン認識と機械学習入門 第8回 参加メモ

資料

ニューラルネットワーク

準ニュートン法

  • 最急降下法は収束するまでの反復回数が多い
  • ニュートン・ラフソン法における誤差関数のヘッセ行列の逆行列を別の近似行列に置き換えたもの
  • 最適解が求まるとは限らない

BFGS法

正則化
ニューラルネットワークによって表されるモデルの複雑さは隠れ層の数 M によって決まる.M が大きいと過学習が起きる.