機械学習
Deep Learning Tokyo 2016に参加してきた。Articulate and Actionable Deep Learning (Prof. Trevor Darrell) 資料 Articulate: Image Description Combine CNN visual model with RNN for sequential output Video Description sequence input & output Dee…
資料 スライド 近似推論確率的なモデリングの分布が複雑な場合の解析的に計算できない 1. マルコフ連鎖モンテカルロ法（MCMC法）などを使って数値的に計算を行う 原理的には任意の精度で正確な計算ができる．欠点は、高い計算機性能が必要になる 2. 何らかの…
資料 スライド ガウス分布以外のEM法 mldata.org from sklearn.datasets import fetch_mldata scikit-learn の fetch_mldata で初回実行時にダウンロードされる． ベルヌーイ分布の各変数は独立であるが、混合すると相関が生じる EM法の理論 カルバック・ラ…
資料 スライド K-meansクラスタリング 階層的クラスタリング : 入れ子関係、is-a関係も調べる 非階層的クラスタリング K-meansアルゴリズムクラスタの数 K を決め，代表ベクトル μ_c (c = 1,2,...,K) をランダムに決める． 以下を収束するまで繰り返す． 【E…
B to Cサービスの現場から考える機械学習活用（グノシー 関さん） それぞれが得意なこと 機械が得意なこと 大量のデータを処理すること 24時間働き続けること 数値データから素早く意思決定をすること 人が得意なこと 仮説を立てること 人の気持ちを理解する…
「Deep Learning とベイジアンネットと強化学習を組み合わせた機構による、前頭前野周辺の計算論的モデルの構想」（産総研 一杉裕志氏）前頭前野周辺に関する知見 大脳皮質 - 基底核ループは強化学習に関与 4つの平行したループ 運動野、前頭眼野、前頭前野…
資料 スライド マルコフ確率場 (Markov Random Field; MRF) 無向グラフによるグラフィカルモデル クリーク因子分解を行ったときに最大ファクターのサイズが最小となる マルコフ確率場：画像処理への応用 あるピクセルの値は観測値及び隣接するピクセルと強い…
資料 スライド ジョインツリーアルゴリズムMCS(maximum cardinality search)フィルイン ベイジアンネットワークの計算量について最適なフィルインを保証するものではない 最適なフィルインを求めることはNP困難 頂点数nに対して計算量は O(n^2)
資料 スライド ベイジアンネットワーク上での推論変数消去法は効率が悪い 計算量は O(N^2 exp(w)) N: 変数の数、w: 変数消去の途中に出現する因子の変数の数の最大値 枝刈りクエリ集合 Q とエビデンス集合 E が与えられたとき、 Q に含まれない葉ノード(子を…
資料 スライド ベイジアンネットワーク グラフィカルモデル：確率分布をグラフを通して表現したもの 条件付き独立性を利用する事でデータ量、計算量を減らせる ベイジアンネットワーク確率変数 X = (X1, X2, ..., Xn) からベイジアンネットワークは以下によ…
資料 スライド 多クラスSVM one-versus-the-rest法 問題点：1対他という形で学習を行うのでデータ数に大きく差が出てしまう SVM回帰 ε-sensitive誤差関数 ε以下の誤差を 0 に丸める事によってスパース性を実現する SMO法を用いて厳密解が求められる 関連ベク…
資料 スライド サポートベクターマシン 最大マージン分類器の最適化は2次計画法問題 2次計画法と双対問題はセット．双対問題に変換して解く 識別関数の構成にサポートベクトルしか使わないというのが最大の特徴．メモリ使用量を抑えられる ソフトマージン ソ…
資料 スライド ガウス過程 どのようなinputに対してもoutputが正規分布になるならば、このモデルをガウスランダム場と呼ぶ．特に独立変数が1つである場合にこれをガウス過程と呼ぶ． ラプラス近似f(x) の対数を一旦取って, ∇ln f(x) が 0 になる点 x0 の周り…
資料 スライド カーネル法 カーネル関数 k(x, x') を用いる統計的学習法の総称 グラム行列の次元は学習データの数に等しい カーネル法の利点 カーネル関数の値は Ψ(x) がいかに高次元でもスカラーとなる 計画行列 X は特徴空間の次元 M とデータ数 N に対し…
資料 スライド MNIST handwritten digit database（手書き入力のデータベース） ニューラルネットワーク 最急降下法は1ステップの更新に掛かる時間が O(W) で済む一方、収束するまでの反復回数が多くなる 準ニュートン法 1ステップの計算量は O(W^2) 局所解…
資料 スライド ニューラルネットワーク準ニュートン法 最急降下法は収束するまでの反復回数が多い ニュートン・ラフソン法における誤差関数のヘッセ行列の逆行列を別の近似行列に置き換えたもの 外積による近似 最適解が求まるとは限らない BFGS法 Broyden–F…
資料 スライド ニューラルネットワーク 線形識別モデルはニューラルネットワークの素子1つだけの場合に対応する 線形識別モデルでは基底関数があらかじめ固定されている のに対して 多層ニューラルネットワークでは基底関数自体も学習の対象である という一…
資料 スライド 線形識別モデル：ベイズロジスティック回帰 スライスサンプリング（PRML 11.4節） 線形識別モデル：フィッシャーの線形判別 最適な射影 重心間の距離は離れていた方がよい 射影後の散らばりが小さい方がよい → 重ならず分離できる 実際には判…
資料 スライド 線形識別モデル 線形識別関数の最適化に最小二乗法を用いるのは不適切である 目標ベクトルtの確率的生成モデルを考えると、2クラスの場合ロジスティック・シグモイド関数σでモデル化できる ロジスティックモデルにおける対数尤度ln L ln Lはた…
統計数理研究所で行われた数学協働プログラム チュートリアル「ビッググラフと最適化」に行ってきたのでメモ。ビッグデータ解析に機械学習技術は有用か？単一種類のデータ分析（仮説検証）→ 多種多様な情報から新価値創造（仮説発見） 代表的な学習スキーム …
資料 スライド ギブスサンプリング MH法の特別な場合と見なせる 目標分布 π(x1, x2, …, xm) に対して、マルコフ連鎖の1ステップ (x1, x2, …, xm) → (x'1, x'2,…, x'm) を1次元ずつ m ステップで行う. π(x'1 | x2, x3, x4, …, xm) に従い x'1 を生成 π(x'2 | …
資料 スライド モデル選択基準赤池情報量基準(AIC) AIC = -2 ln L + 2M Lは最大尤度、Mはモデルのパラメータ数AICが最小となるようにモデルを選択するベイズ情報量基準(BIC)AICに比べて複雑さに大きなペナルティを課す BIC = -2 ln L + M ln n Lは最大尤度、…
資料 スライド ベイズ確率論 ベイズ確率論 確定していることに頻度主義は適用できない 「不確かさ」を定量的に扱うための代表的な体系がベイズ確率論 ベイズ改訂 主観的に確率を決めたのち、新たな情報により客観性を高めていく作業 ベイズ改訂にはベイズの…
パターン認識と機械学習入門 第1回に行ってきた。資料 スライド 動画 パターン認識とは 広い意味では人間が行っているような認知を機械に行わせること インプットに対して何らかのクラスを割り当てること パターン認識の流れ 前処理：不要な情報を捨てる 特…
