ぽんのブログ -12ページ目

ホームピグアメブロ

芸能人ブログ人気ブログ

ぽんのブログ

自分用の備忘録ブログです。書いてある内容、とくにソースは、後で自分で要点が分かるよう、かなり簡略化してます（というか、いい加減）。あまり信用しないように（汗

<< 前ページ次ページ >>

Coordinate descent for lasso 2.soft-thresholding

前回の解の更新式をL1正則化問題に当てはめてみます。
目的関数は

$L(\boldsymbol{\beta};\lambda_1)=\frac{1}{2}||{\bf y}-{\bf X}\boldsymbol{\beta}||^2+\lambda_1\sum_j|\beta_j|$

であるとします。今 β_j 以外を固定した場合これは

$L(\beta_j;\lambda_1)=\frac{1}{2}||{\bf r}^{(j)}-{\bf x}_j\beta_j||^2+\lambda_1|\beta_j|+const.$

と、簡単な一変量の関数に書きなおせます。ここで

${\bf r}^{(j)}={\bf y}-{\bf X}\boldsymbol{\beta}^{(j)}$

で、これは β_j と独立です。

$\beta_j\geq 0$ の時

$\frac{dL}{d\beta_j}=-{\bf x}_j^T({\bf r}^{(j)}-{\bf x}_j\beta_j)+\lambda_1=0$

なので修正解は

$\beta_j=\zeta-\lambda_1,\quad\zeta={\bf x}_j^T{\bf r}^{(j)}$

となります。
しかしながら $\beta_j\geq 0$ だったので

$\beta_j= \begin{cases} \zeta-\lambda_1,\quad\textrm{if }\zeta>0\textrm{ and }\lambda_1<|\zeta|,\\ 0,\quad\textrm{if }\lambda_1\geq|\zeta|.\\ \end{cases}$

となります。

同様な事は $\beta_j\leq 0$ の場合にも計算でき、結局

式（３）
$\beta_j=S({\bf x}_j^T{\bf r}^{(j)},\lambda_1)$

$S(z,\gamma)= \begin{cases} z-\gamma,\quad\textrm{if }z>0\textrm{ and }\gamma<|z|,\\ z+\gamma,\quad\textrm{if }z<0\textrm{ and }\gamma<|z|,\\ 0,\quad\textrm{if }\gamma\geq|z|.\\ \end{cases}$
Freidman et al. (2011) の式（６）

が成り立ちます。

前回の記事の更新式（１）、或いは式（２）を上の式（３）に置き換える事でL1正則化問題の解の更新式になります。

<< 前ページ次ページ >>