パターン認識と機械学習入門 第10回 参加メモ

資料

• スライド

カーネル法

• カーネル関数 k(x, x') を用いる統計的学習法の総称
• グラム行列の次元は学習データの数に等しい

カーネル法の利点

• カーネル関数の値は Ψ(x) がいかに高次元でもスカラーとなる
• 計画行列 X は特徴空間の次元 M とデータ数 N に対して N×M 行列なので、モデルが複雑になるほど計算量が増える．一方、グラム行列 K は常に N×N 行列

カーネル関数の満たす条件

• 関数 k(x,x') が適切なカーネル関数であるためには、なんらかの変換関数ψを用いて k(x,x') = Σ ψ_i(x) ψ_i(x') と表せることが必要．

有名なカーネル関数

• 線形カーネル (linear kernel)
• ガウスカーネル (Gaussian kernel)
• 多項式カーネル (polynomial kernel)

カーネル密度推定法

• カーネル密度推定法は母集団の分布を推定するノンパラメトリック（分布の形状に関する仮定を置かない）な手法．
• 各データ点 x_1, x_2, ..., x_n を中心に正規分布などを置き、それらを重ね合わせた分布によって母分布を近似する