パターン認識と機械学習入門 第4回 参加メモ

資料

ギブスサンプリング

  • MH法の特別な場合と見なせる

目標分布 π(x1, x2, …, xm) に対して、マルコフ連鎖の1ステップ (x1, x2, …, xm) → (x'1, x'2,…, x'm) を1次元ずつ m ステップで行う.


π(x'1 | x2, x3, x4, …, xm) に従い x'1 を生成
π(x'2 | x'1, x3,x4, …, xm) に従い x'2 を生成
π(x'3 | x'1, x'2, x4, …, xm) に従い x'3 を生成
...
π(x'm | x'1, x'2, x'3, …, x'm−1) に従い x'm を生成

線形識別モデル

  • 2クラスの識別では線形識別関数 f(x) に対して
    • f(x) > 0 ならC1
    • f(x) < 0 ならC2

というように識別を行う

  • 多クラスの場合
    • 各クラス c 毎に識別関数 fc(x) を定め、「fc(x) が最大の c を選ぶ」という方法をとる

最小二乗法による線形識別の問題点

  • 単純な最小二乗法は外れ値に敏感に反応する
  • 目標ベクトルとの誤差は正規分布に従わない
  • 正規分布に従っていない目標ベクトルを正規分布に従うと仮定して取り扱おうとしている