NLP勉強会 #2に参加してきた。NLP本読み進めシリーズ 「入門 自然言語処理」第1回 (@nezuq) 資料 「入門 自然言語処理」 △ NLPの入門書 ◯ NLTKの入門書 1章 言語処理とPython NLTKとは？ Python用のNLPツールキット 大量の英語コーパスが付属 日本語を使うた…

Go Conference 2014 autumnに行ってきた。 Go Conference 2014 autumn Go Conference 2014 autumn - Togetterまとめ Simplicity is Complicated (Rob Pike) 可読性 言語の機能が多すぎると、どの機能を使うべきかに時間を取られてしまう 機能は複雑さを増す …

NLP勉強会 #1に参加してきた。（再）入門自然言語処理 #01 (yamano357)自然言語処理でこれだけは覚えておきたい単語 素性（そせい）: パターン認識では特徴量と表現するものを、言語処理では慣習的に「そせい」と呼ぶ コーパス: 電子化して大量に蓄積された…

資料 スライド 近似推論確率的なモデリングの分布が複雑な場合の解析的に計算できない 1. マルコフ連鎖モンテカルロ法（MCMC法）などを使って数値的に計算を行う 原理的には任意の精度で正確な計算ができる．欠点は、高い計算機性能が必要になる 2. 何らかの…

資料 スライド ガウス分布以外のEM法 mldata.org from sklearn.datasets import fetch_mldata scikit-learn の fetch_mldata で初回実行時にダウンロードされる． ベルヌーイ分布の各変数は独立であるが、混合すると相関が生じる EM法の理論 カルバック・ラ…

資料 スライド K-meansクラスタリング 階層的クラスタリング : 入れ子関係、is-a関係も調べる 非階層的クラスタリング K-meansアルゴリズムクラスタの数 K を決め，代表ベクトル μ_c (c = 1,2,...,K) をランダムに決める． 以下を収束するまで繰り返す． 【E…

B to Cサービスの現場から考える機械学習活用（グノシー 関さん） それぞれが得意なこと 機械が得意なこと 大量のデータを処理すること 24時間働き続けること 数値データから素早く意思決定をすること 人が得意なこと 仮説を立てること 人の気持ちを理解する…

「Deep Learning とベイジアンネットと強化学習を組み合わせた機構による、前頭前野周辺の計算論的モデルの構想」（産総研 一杉裕志氏）前頭前野周辺に関する知見 大脳皮質 - 基底核ループは強化学習に関与 4つの平行したループ 運動野、前頭眼野、前頭前野…

資料 スライド マルコフ確率場 (Markov Random Field; MRF) 無向グラフによるグラフィカルモデル クリーク因子分解を行ったときに最大ファクターのサイズが最小となる マルコフ確率場：画像処理への応用 あるピクセルの値は観測値及び隣接するピクセルと強い…

コンピュータ将棋の歴史と基本アルゴリズム (瀧澤 武信氏 (コンピュータ将棋協会会長))コンピュータ将棋の基本技術 min-max原理 alpha-beta法 木の並び方によって読むノードを減らせる その他の技術 反復深化 トランスポジションテーブル Futility枝刈り、nu…

資料 スライド ジョインツリーアルゴリズムMCS(maximum cardinality search)フィルイン ベイジアンネットワークの計算量について最適なフィルインを保証するものではない 最適なフィルインを求めることはNP困難 頂点数nに対して計算量は O(n^2)

このイベントとこれからのgo (@7yan00)Revel The Revel Web Framework for Go A high-productivity web framework for the Go language Play frameworkっぽい 標準でbootstrapが入っている Herokuもいける

資料 スライド ベイジアンネットワーク上での推論変数消去法は効率が悪い 計算量は O(N^2 exp(w)) N: 変数の数、w: 変数消去の途中に出現する因子の変数の数の最大値 枝刈りクエリ集合 Q とエビデンス集合 E が与えられたとき、 Q に含まれない葉ノード(子を…

資料 スライド ベイジアンネットワーク グラフィカルモデル：確率分布をグラフを通して表現したもの 条件付き独立性を利用する事でデータ量、計算量を減らせる ベイジアンネットワーク確率変数 X = (X1, X2, ..., Xn) からベイジアンネットワークは以下によ…

GoConに行ってきた。Go tutorial (@tenntenn) A Tour of Go SliceTricks String() は Java でいうところの toString() Go: 90% Perfect, 100% of the time (@bradfitz) スライド Cons no more threads, no more callbacks readable, top-down code so easy t…

資料 スライド 多クラスSVM one-versus-the-rest法 問題点：1対他という形で学習を行うのでデータ数に大きく差が出てしまう SVM回帰 ε-sensitive誤差関数 ε以下の誤差を 0 に丸める事によってスパース性を実現する SMO法を用いて厳密解が求められる 関連ベク…

資料 スライド サポートベクターマシン 最大マージン分類器の最適化は2次計画法問題 2次計画法と双対問題はセット．双対問題に変換して解く 識別関数の構成にサポートベクトルしか使わないというのが最大の特徴．メモリ使用量を抑えられる ソフトマージン ソ…

資料 スライド ガウス過程 どのようなinputに対してもoutputが正規分布になるならば、このモデルをガウスランダム場と呼ぶ．特に独立変数が1つである場合にこれをガウス過程と呼ぶ． ラプラス近似f(x) の対数を一旦取って, ∇ln f(x) が 0 になる点 x0 の周り…

Vagrant のインストールhomebrew-cask のインストール homebrew-cask はMacのGUIアプリをCLIでインストールできる homebrew の拡張機能 $ brew tap caskroom/homebrew-cask $ brew install brew-caskVirtualBox, Vagrant のインストール $ brew cask install…

資料 スライド カーネル法 カーネル関数 k(x, x') を用いる統計的学習法の総称 グラム行列の次元は学習データの数に等しい カーネル法の利点 カーネル関数の値は Ψ(x) がいかに高次元でもスカラーとなる 計画行列 X は特徴空間の次元 M とデータ数 N に対し…

オブジェクト指向レッスン (t_hyssh) Staticメソッドを使用しない（Factoryメソッド以外） ファーストクラスコレクションを使用する コレクション（リスト, マップ）をカプセル化する O/Rマッパーのクラスを変換して使用する ドメイン層で必要な形に変換する…

資料 スライド MNIST handwritten digit database（手書き入力のデータベース） ニューラルネットワーク 最急降下法は1ステップの更新に掛かる時間が O(W) で済む一方、収束するまでの反復回数が多くなる 準ニュートン法 1ステップの計算量は O(W^2) 局所解…

機械学習分野におけるテストの自動化（ALBERT 小宮篤史氏） 資料 Test automation on ALBERT Code-driven testing + Continuous integration Code-driven testing by JUnit / Spork Continuous integration by Jenkins Software testing of Machine Learning…

資料 スライド ニューラルネットワーク準ニュートン法 最急降下法は収束するまでの反復回数が多い ニュートン・ラフソン法における誤差関数のヘッセ行列の逆行列を別の近似行列に置き換えたもの 外積による近似 最適解が求まるとは限らない BFGS法 Broyden–F…

pip-tools をインストール $ pip install pip-toolspip-review でアップデートがあるパッケージ一覧を表示 $ pip-review PyYAML==3.11 is available (you have 3.10) nose==1.3.1 is available (you have 1.3.0) numpy==1.8.1 is available (you have 1.8.0)…

Mac ではコアダンプファイルが /cores 以下に作成され、放置していると容量不足になることがある. コアダンプファイルを作成しないようにするには、/etc/hostconfig に以下を追加したうえで再起動する COREDUMPS=-NO-

資料 スライド ニューラルネットワーク 線形識別モデルはニューラルネットワークの素子1つだけの場合に対応する 線形識別モデルでは基底関数があらかじめ固定されている のに対して 多層ニューラルネットワークでは基底関数自体も学習の対象である という一…

資料 スライド 線形識別モデル：ベイズロジスティック回帰 スライスサンプリング（PRML 11.4節） 線形識別モデル：フィッシャーの線形判別 最適な射影 重心間の距離は離れていた方がよい 射影後の散らばりが小さい方がよい → 重ならず分離できる 実際には判…

資料 スライド 線形識別モデル 線形識別関数の最適化に最小二乗法を用いるのは不適切である 目標ベクトルtの確率的生成モデルを考えると、2クラスの場合ロジスティック・シグモイド関数σでモデル化できる ロジスティックモデルにおける対数尤度ln L ln Lはた…

統計数理研究所で行われた数学協働プログラム チュートリアル「ビッググラフと最適化」に行ってきたのでメモ。ビッグデータ解析に機械学習技術は有用か？単一種類のデータ分析（仮説検証）→ 多種多様な情報から新価値創造（仮説発見） 代表的な学習スキーム …