Coordinate descent for lasso 4.centering

LARS、LARS-EN では、目的変数 X に加えデータ y も中心化（X については更に規格化）されている事が要請されました。

データ y が中心化、即ち sum_i y_i = 0 で無い場合、解くべき方程式は

${\bf y}={\bf X}\boldsymbol{\beta}+b{\bf 1}$

となり、解βの他に切片 b が必要になります。
ここで 1 は 1 = (1, 1, ... , 1) なる n 次元ベクトルです。
なので目的関数も

式（５）
$L(\boldsymbol{\beta},b)=||{\bf y}-{\bf X}\boldsymbol{\beta}-b{\bf 1}||^2$

となります。

これを coordinate descent で解く場合、まず変数の一つである b 以外、即ち β を固定して b についての勾配を求めると

$\frac{1}{2}\frac{\partial L}{\partial b}=-{\bf 1}^T({\bf y}-{\bf X}\boldsymbol{\beta}-b{\bf 1})=0$

なので

$b=\frac{1}{n}(\bar{y}-\bar{\bf X}\boldsymbol{\beta})$

となります。当然のことですが・・・
あ、ここで

$\bar{y}=\sum_i y_i,\quad \bar{X}_j=\sum_ix_{ij}$

です。上の b は L1 正則を課しても変わりません。当然ですが・・・

次に式（５）の β_j についての勾配から

$\frac{\partial L}{\partial \beta_j}=-{\bf x}_j^T({\bf y}-{\bf X}\boldsymbol{\beta}^{(j)}-{\bf x}_j\beta_j-b{\bf 1})=0$

を解いて

${\bf x}_j^T{\bf x}_j\beta_j={\bf x}_j^T{\bf y}-{\bf x}_j^T{\bf X}\boldsymbol{\beta}^{(j)}-{\bf x}_j^T{\bf 1}b$

が得られますが

${\bf x}_j^T{\bf 1}=\sum_i x_{ij}$

なので X が中心化していればこれは 0 です。つまりX が中心化されていれば、 y が中心化されているか否かに関わらず解の更新式は

$\beta_j=\frac{{\bf x}_j^T{\bf y}-{\bf x}_j^T{\bf X}\boldsymbol{\beta}^{(j)}}{{\bf x}_j^T{\bf x}_j}$

となります。当然ですが・・・

ぽんのブログ

自分用の備忘録ブログです。書いてある内容、とくにソースは、後で自分で要点が分かるよう、かなり簡略化してます（というか、いい加減）。あまり信用しないように（汗

Coordinate descent for lasso 4.centering