パターン認識と機械学習入門 第20回 参加メモ

機械学習

資料

近似推論

確率的なモデリングの分布が複雑な場合の解析的に計算できない
1. マルコフ連鎖モンテカルロ法（MCMC法）などを使って数値的に計算を行う

  • 原理的には任意の精度で正確な計算ができる．欠点は、高い計算機性能が必要になる

2. 何らかの近似を行って、解析的に計算できるようにする

  • 正確さを犠牲にする変わりにより大きな問題を解くことができるようになる

変分ベイズ

変分法
R上の連続分布 p(x) で平均が0, 分散が1であるもののうち、エントロピー
I[p] = -∫p(x)log p(x)dx
が最大になるようなものは何でしょうか？
⇒ 標準正規分布
N(x|0,1) = 1/√(2π) exp(-x^2/2)
⇒ ある母集団についてその平均と分散以外に一切の事前知識がない場合、エントロピーという観点ではそれを正規分布だと仮定するのが妥当である

周辺化ギブスサンプリング

  • サンプリングの前に興味のない隠れ変数は周辺化して消す