パターン認識と機械学習入門 第3回 参加メモ

機械学習

資料

モデル選択基準

赤池情報量基準(AIC)


AIC = -2 ln L + 2M

Lは最大尤度、Mはモデルのパラメータ数
AICが最小となるようにモデルを選択する

ベイズ情報量基準(BIC)
AICに比べて複雑さに大きなペナルティを課す


BIC = -2 ln L + M ln n

Lは最大尤度、Mはモデルのパラメータ数、nは学習データの数

最小記述長(MDL)
MDL = BIC / 2 なので BIC と等価

ベイズ線形回帰

最小二乗法はパラメータaの分布が一切考慮されていない．これが過学習の生じる原因である．
そこで、パラメータaの事前分布 π(a) を導入し、MAP推定を行う．

マルコフ連鎖モンテカルロ法(MCMC法)

モンテカルロ法

  • 乱数を用いて行う数値計算法の総称
  • 高次の重積分を効率的に計算するために必要
  • 大数の強法則を基本原理とする
  • 一般にモンテカルロ法ではサンプル数Nに対して 1/√N のオーダで誤差が減少していく
  • 重積分の計算を期待値の計算に帰着できる
  • 重点的サンプリング
  • 棄却サンプリング

マルコフ連鎖モンテカルロ法とは

  • サンプリングを行いたい分布 π(x) が不変分布になるようなマルコフ連鎖を生成する事によって π(x) からのランダムサンプリングを実現する手法