ぽんのブログ -9ページ目

ホームピグアメブロ

芸能人ブログ人気ブログ

ぽんのブログ

自分用の備忘録ブログです。書いてある内容、とくにソースは、後で自分で要点が分かるよう、かなり簡略化してます（というか、いい加減）。あまり信用しないように（汗

<< 前ページ次ページ >>

Coordinate descent for lasso 5. step size

任意の線形オペレータ D による正則化を施した以下の目的関数

$L(\boldsymbol{\beta};\lambda_1,\lambda_2) =\frac{1}{2}||{\bf y}-{\bf X}\boldsymbol{\beta}||^2 +\frac{1}{2}\lambda_2\boldsymbol{\beta}^T{\bf D}^T{\bf D}\boldsymbol{\beta}+\lambda_1\sum_j|\beta_j|$

をCD (Coordinate Descent) で最小化する場合を考えます。
λ1 = 0 の場合、βj の更新式は、ここまでの記事のやり方に従えば

式（６）
$\hat{\beta}_j=\frac{{\bf x}_j^T({\bf y}-{\bf X}\boldsymbol{\beta}^{(j)})-\lambda_2{\bf d}_j^T{\bf D}\boldsymbol{\beta}^{(j)}}{{\bf x}_j^T{\bf x}_j+{\bf d}_j^T{\bf d}_j\lambda_2}$

となります。ここで

${\bf x}_j^T{\bf X}\boldsymbol{\beta}^{(j)} +\lambda_2{\bf d}_j^T{\bf D}\mbox{\boldmath $\beta$}^{(j)} ={\bf x}_j^T{\bf X}\boldsymbol{\beta} +\lambda_2{\bf d}_j^T{\bf D}\boldsymbol{\beta} -({\bf x}_j^T{\bf x}_j+\lambda_2{\bf d}_j^T{\bf d}_j)\beta_j$
なので

式（７）
$\hat{\beta}_j=\beta_j\frac{c_j-{\bf x}_j^T\boldsymbol{\mu}-\lambda_2{\bf d}_j^T\boldsymbol{\nu}}{{\bf x}_j^T{\bf x}_j+{\bf d}_j^T{\bf d}_j\lambda_2}$

が得られます。ここに c = X^T y、 μ = X β、 ν = D β です。
つまり解の修正量は

$\eta_j=\frac{c_j-{\bf x}_j^T\boldsymbol{\mu} -\lambda_2{\bf d}_j^T\boldsymbol{\nu}} {\zeta_j^2},\quad \zeta_j^2={\bf x}_j^T{\bf x}_j+{\bf d}_j^T{\bf d}_j\lambda_2$

となります。

さらに $\lambda_1\not= 0$ の場合のステップサイズは、soft thresholding により

$\eta_j=S\left( \frac{c_j-{\bf x}_j^T\boldsymbol{\mu} -\lambda_2{\bf d}_j^T\boldsymbol{\nu}}{\zeta_j^2}+\beta_j,\, \frac{\lambda_1}{\zeta_j^2} \right)-\beta_j$

です。

で $\mu_j> 0$ なら βj、μ、ν を

$\hat{\beta}_j=\beta_j+\eta_j,\quad \hat{\boldsymbol{\mu}}=\boldsymbol{\mu}+\eta_j{\bf x}_j^T,\quad \hat{\boldsymbol{\nu}}=\boldsymbol{\nu}+\eta_j{\bf d}_j^T$

で更新します。さらに j = 1、・・・、p までの1サイクルの更新を終えたあとの βの変化量は

$\boldsymbol{\eta}=\hat{\boldsymbol{\beta}}-\boldsymbol{\beta}$

なので収束判定にもそのまま使えます。

式（６）より式（７）の方が計算がほんのちょっと楽になるような気がします・・・

<< 前ページ次ページ >>