ぽんのブログ -24ページ目

ホームピグアメブロ

芸能人ブログ人気ブログ

ぽんのブログ

自分用の備忘録ブログです。書いてある内容、とくにソースは、後で自分で要点が分かるよう、かなり簡略化してます（というか、いい加減）。あまり信用しないように（汗

<< 前ページ次ページ >>

Lasso-Lars その６計算方法のまとめ

Larsアルゴリズムで lasso 解を得るための手順をまとめてみました。

１．初期値設定

$\boldsymbol{\mu}={\bf 0},\, \boldsymbol{\beta}={\bf 0},\, {\it A}=\phi$

２．説明変数 v.s. 残差の相関ベクトルを更新

${\bf c}={\bf X}^T\cdot({\bf y}-\boldsymbol{\mu})$

相関の絶対値の最大値を更新

$\hat{C}=\max_{j\in A_c}{|c_j|}$

A=φ ならその指標 $i\in A_c,\, \hat{C}=|c_i|$ を記録

$i_{max}=i$

３．アクティブセットを更新

$i_{max}\geq 0$ ならこれをアクティブセットに加える

${\rm A}={\rm A}+\{i_{max}\}$

４．等角ベクトル uA を更新

$s_{Aj}=sign(c_j),\, j\in A$

${\bf X}_A=(\cdots, s_{Aj}{\bf x}_j,\cdots)_{j\in A}$

${\bf g}_A={\bf X}_A^T\cdot{\bf X}_A$

$A_A=1/\sqrt{{\bf 1}_A^T\cdot{\bf g}_A^{-1}\cdot{\bf 1}_A}$

${\bf w}_A=A_A{\bf g}_A^{-1}\cdot{\bf 1}_A$

${\bf u}_A={\bf X}_A\cdot{\bf w}_A$

５．ステップサイズ γ を更新

$\hat{\gamma}=\min_{j\in A_c}^+\left\{ \frac{\hat{C}-c_j}{A_A-a_j},\frac{\hat{C}+c_j}{A_A+a_j} \right\}$

ここに ${\bf a}={\bf X}^T\cdot{\bf u}_A$

$\widetilde{\gamma}=\min_{j\in A}^+\{-\beta_j/d_j\},\, d_j=s_{Aj}w_{Aj}$

$\hat{\gamma}<\widetilde{\gamma}$ なら $\gamma=\hat{\gamma}$
$\widetilde{\gamma}\leq\hat{\gamma}$ なら $\gamma=\widetilde{\gamma}$

６．β、μ を更新

$\beta_j=\beta_j+\gamma d_j,\, j\in A$

$\boldsymbol{\mu}=\boldsymbol{\mu}+\gamma{\bf u}_A$

７．アクティブセット再更新

$\hat{\gamma}<\widetilde{\gamma}$ 　なら $\hat{\gamma}$ に対応する指標 j について $i_{max}=j$ とおく。

$\widetilde{\gamma}\leq\hat{\gamma}$ 　なら $\widetilde{\gamma}$ に対応する指標 $k\in A,\, \widetilde{\gamma}=\gamma_k$

をアクティブセットから除き　 $A=A-\{k\}$

$i_{max}=-1$ 　とする。

ステップ２へ戻る。

<< 前ページ次ページ >>