PRML第4章メモ - alembert の作業日記

確率的生成モデル＝入力変数のモデル , 確率的識別モデル＝出力変数のモデル
ロジスティック回帰
- 活性化関数としてロジスティックシグモイド関数 σ(a) を利用
- 尤度が指数型分布族の場合に適用可能
- 誤差関数 : E(w) = -Σ(t ln y + (1-t)ln(1-y))
  - 交差エントロピー関数
- 誤差関数の勾配 : ∇E(w) = Σ(y_n - t_n)φ_n
  - 目標値と予測値の誤差×基底関数ベクトル
  - 線形基底関数モデルと一緒というのが興味深いね、という話（cf. 正準連結関数）
- 誤差関数のヘッセ行列 : ∇∇E(w) = Φ^TRΦ（R = diag{y_n(1-y_n)} = cov[t]）
- 最尤推定
  - 過学習の結果は直感通り、w=∞、ヘヴィサイドステップ関数によってクラスが分類される
  - 解析的には困難 -> IRLS（反復重み付け最小二乗）
プロビット回帰
- 雑音しきい値モデルから派生
- しきい値の分布をガウス分布でモデリング -> プロビット関数 Φ(a)
  - グラフの形は σ と類似、ただし減衰が速く、外れ値の影響を受けやすい
正準連結関数
- 連結関数（活性化関数の逆関数）の一種
- 指数型分布族の場合、これを連結関数として採用すると、誤差関数の勾配＝目標値と予測値の誤差×基底関数ベクトルになる
  - 非常にシンプル。そして汎用性が高い。（IRLS の際に便利）

ロジスティック回帰をベイズ的に取り扱いたい => 解析的には無理 => ラプラス近似をしよう！←ｲﾏｺｺ
基本的には式の展開・近似の繰り返し。解析学の基礎知識で何とかなる。
トリッキーな変数変換があったのでメモ。よく使われる手法なのか？
- ∫f(ax) g(x) dx = ∫(∫δ(y-ax) f(y) dy) g(x) dx = ∫∫δ(y-ax) f(y) g(x) dy dx = ∫f(y) (∫δ(y-ax) g(x) dx)dy = ∫f(y) u(y) dy　（ただし δ: ディラックデルタ）