パターン認識と機械学習入門 第19回 参加メモ

資料

• スライド

ガウス分布以外のEM法

• mldata.org

from sklearn.datasets import fetch_mldata

• scikit-learn の fetch_mldata で初回実行時にダウンロードされる．
• ベルヌーイ分布の各変数は独立であるが、混合すると相関が生じる

EM法の理論

• カルバック・ライブラー情報量

KL(q||p) = Σ q(x) log(q(x)/p(x))

• • 事前分布が p(x) である状態から何らかの学習を行って事後分布が q(x) になった場合の学習によって得た情報量