第4回Ques 参加メモ

機械学習分野におけるテストの自動化（ALBERT 小宮篤史氏）

• 資料

Test automation on ALBERT

• Code-driven testing + Continuous integration
  • Code-driven testing by JUnit / Spork
  • Continuous integration by Jenkins

Software testing of Machine Learning

• 「期待する結果」の定義が難しい
  • 精度は100%ではない
  • ランダムな振る舞いをするアルゴリズム
• テストデータを作るのが辛い
  • どのような入力データを与えればよい？ どのような出力結果が得られる？
• テストケースがNGになった場合何がダメなのか分かりづらい
  • 実装上の不具合？ 入力データの問題？

Patterns & Practices

• テスト対象の分離を意識する
  • アプリケーション、ビジネスロジック、機械学習アルゴリズム
• 機械学習に対する理解を深める
• 別言語の実装を利用してテストデータを作成する
  • ライブラリ: libsvm, liblinear, SciPy, OpenCV
  • フレームウェア、ソフトウェア: Mahout, Jubatus, R
• モックやフィクスチャを活用する
  • モックライブラリ: Mockito, JMockit
  • 機械学習アルゴリズム部分をモックに差し替える
  • フィクスチャで状態を固定する
• ベースラインの精度と比較する
• 数値計算の特性を把握する

Mobageオープンプラットフォームでのテスト自動化（DeNA 中川勝樹氏）

"SWET"って何？

• SWET = SET + TE
  • Developer Productivity
  • Quality Assurance

プラットフォームのテスト自動化戦略

• プラットフォームのテスト戦略
  • 適切なシステム分割をする
  • サーバで完結できるところはサーバで
    • WebAPIの機能テストはクライアント無しで
    • ブラウザを使う部分は極力実機レスで

• スマートフォンテスト自動化
  • テスト対象によってテスト方法も異なる
  • システム分類
    • WebAPI, Webアプリ
    • ネイティブアプリ、SDK（ライブラリ）

• スマートフォンブラウザ
  • ブラウザ自動化の技術をそのまま使う
    • Selenium WebDriver
    • スマートフォンブラウザを偽装
  • テストコードを流用して実機でも動かす
    • Appium (w/ JSON Wire Protocol)

• ネイティブアプリ
  • アプリの操作を自動化する
  • 外部からプロセスにアタッチして操作
    • Appium を使う
  • テスト用ライブラリを埋め込んで操作
    • Calabash を使う

• クライアントライブラリ（SDK）
  • ライブラリを組み込んだテストアプリを作成
    • ライブラリの機能を網羅できるように作る
  • テストアプリの操作を自動化
    • あとはネイティブアプリと同様