PRML第4章メモ

4.1 線形関数（判別関数）

• 線形識別関数
  • 入力変数とパラメータとの内積で出力変数（１次元）に射影。y = w・x + w0（w0 : bias parameter）。決定面は y = 0。
  • 決定面から大きく離れた入力関数にペナルティを課してしまう⇒おかしい
  • 誤差関数 : ½Tr{(XW-T)^T(XW-T)}
• フィッシャーの線形判別
  • クラス1の目標関数を N/N1、クラス2の目標関数を N/N2 として、線形識別関数に最小二乗法を適用すると得られる
• パーセプトロンアルゴリズム
  • 入力変数->非線形関数->パラメータとの内積->ステップ関数->出力変数
  • 誤差関数 : E(w) = -Σ[n:error] W^T φ_n t_n
  • 解は最急降下法で求められる（ただし収束がめちゃくちゃ遅い）

4.2 確率的生成モデル

• ガウス分布の活性 : a_k(x) = (Σ^-1μ_k)^Tx + (-½μ_k^TΣ^-1μ_k + ln p(C_k))
• 指数型分布族の活性 : a_k(x) = λ_k^Tx + (ln g(λ_k) + ln p(C_k))

4.3 確率的識別モデル

読んでない

4.4 ラプラス近似

• ラプラス近似 = 確率分布を、そのモードを平均に、モードでのヘッセ行列を分散に持つガウス分布で近似
• BIC : ln(D|θ_MAP) - ½M ln N

4.5 ベイズロジスティック回帰

読んでない