パターン認識と機械学習入門 第5回 参加メモ
資料
線形識別モデル
- 線形識別関数の最適化に最小二乗法を用いるのは不適切である
- 目標ベクトルtの確率的生成モデルを考えると、2クラスの場合ロジスティック・シグモイド関数σでモデル化できる
ロジスティックモデルにおける対数尤度ln L
ln Lはただ一つの極大値を持ち極小値は持たない
ln Lの最大化を行うための手法
ニュートン・ラフソン法
- ln Lは凸関数なのでln Lを最大にするwを求めることを、∇ln L = 0 を満たすwを求める問題に帰着させることができる
- 二次収束する
- 反復再重み付き最小二乗法(IRLS)
最急降下法
- 勾配∇ln Lは点wにおけるln Lの増加率の最も急な方向を向いているので、その反対方向に向かって進んでいく方法
確率的勾配降下法
- 最急降下法のオンラインバージョン．流れてくる1つのデータだけで勾配を計算する
