ぽんのブログ -14ページ目

ホームピグアメブロ

芸能人ブログ人気ブログ

ぽんのブログ

自分用の備忘録ブログです。書いてある内容、とくにソースは、後で自分で要点が分かるよう、かなり簡略化してます（というか、いい加減）。あまり信用しないように（汗

<< 前ページ次ページ >>

LassoLars その１５ larsen アルゴリズムの詳細（２）

これまでと前回の記事をまとめ、L2正則化項を任意の線形オペレータに置き換えた場合の
lasso解

$\boldsymbol{\beta}^{lasso}=\mathop\mathrm{argmin}\limits_{\beta} \zeta^2(||{\bf y}-{\bf X}\boldsymbol{\beta}||^2 +\lambda_2\boldsymbol{\beta}^T{\bf J}^T{\bf J}\boldsymbol{\beta})+\lambda_1\sum_j|\beta_j|$
を求めるLARS-ENアルゴリズムは以下になります。

１）目的変数と残差との correlation c の更新

${\bf c}=\zeta{\bf X}^T({\bf y}-\boldsymbol{\mu})-\zeta^2\lambda_2{\bf J}^T{\bf J}\boldsymbol{\beta}$

２） Cholesky分解の更新

${\bf t}=\zeta^2\left( \begin{matrix} {\bf X}_A^T{\bf x}^T_j+\lambda{\bf J}_A^T{\bf J}_j\\ {\bf x}_j{\bf x}^T_j+\lambda{\bf J}_j^T{\bf J}_j \end{matrix} \right)$

として Z の j 列を cholinsert、または j 列を choldelete

３）等角（equiangular）ベクトルの更新

${\bf s}_A=\mathrm{sign}({\bf c}_A)$

として

${\bf w}_A'=({\bf Z}_A^T{\bf Z}_A)^{-1}{\bf s}_A,\quad {\bf w}_A={\bf w}_A'/\sqrt{{\bf s}_A^T{\bf w}_A'}$

${\bf u}= \zeta\left( \begin{array}{c} {\bf X}_A\\ \sqrt{\lambda_2}{\bf J}_A \end{array} \right){\bf w}_A$

ここに xx_A は xx の中からアクティブセット A に含まれる要素（または列）だけを抜き出したもの xx_A = xx(A) です。

４）ステップサイズの更新

${\bf a}=\zeta^2({\bf X}^T{\bf X}_A+\lambda_2{\bf J}^T{\bf J}_A){\bf w}_A$

として

$\hat{\gamma}=\min_{j\in A_c}^+\left\{ \frac{\hat{C}-c_j}{|A|-a_j},\frac{\hat{C}+c_j}{|A|+a_j} \right\}$

また

$\widetilde{\gamma}=\min_{j\in A}^+\{-\beta_j/w_j\}$

としてステップサイズを

$\gamma=\mathrm{min}_+(\hat{\gamma},\tilde{\gamma})$

と更新。また $\gamma=\hat{\gamma}_j$ なら j をアクティブセットに加える、
$\gamma=\tilde{\gamma}_j$ ならアクティブセットから j を除く。

５）解の更新

$\boldsymbol{\beta}(A)'=\boldsymbol{\beta}(A)+\gamma{\bf w}_A$
$\boldsymbol{\nu}'=\boldsymbol{\nu}+\gamma{\bf u}$

で解 β および b = [ y ; 0 ] の推定値 ν を更新。
ちなみに ν のはじめの n 個 ν(1 : n) が y の推定値 μ

それからスケーリング定数 ζ ですが、これは

${\bf z}_j^T{\bf z}_j=1$

と、Z^T Z の対角成分が規格化されるように選ぶべきでしょう。
なので J の j　列を j_j として

$\zeta=\frac{1}{\sqrt{{\bf x}_j^T{\bf x}_j+{\bf j}_j^T{\bf j}_j\lambda_2}}$ >

となるような気がします。
ただ、これでは ζ はベクトルとなりその他の部分の計算量も増えてしまうので上の値に近い定数にする、としたほうが良いのかもしれません。

<< 前ページ次ページ >>