\[Y=\beta_0+\beta_1 X_1+\ldots +\beta_p X_p+\epsilon\]

• 予測の正確性
  • 真のモデルが線形ならば、線形モデルのバイアスは小さい。
  • サンプルサイズが説明編して比較して大きければ、線形モデルは分散が小さい。
• モデルの解釈
  • 関係ない説明変数がモデルに入ると解釈が複雑になる。
  • 線形の場合にはそのような変数を特定するのが簡単になる。
    • Subset Selection
    • Shrinkage
    • Dimension Reduction

Subset Reduction

最良の選択

線形のなかで2変数でも、ありうるモデルは\({}_rC_2=p(p-1)/2\)個ある。

すべての変数を考えると\(2^p\)個のモデルがある。

アルゴリズム

• \({\mathcal M}_0~\)をNull Model（predictorの入っていないモデル）とする。
• \(k=1,\ldots,p\)について
  • \(k~\)個のpredictorの入った\(~{}_pC_k~\)個のモデルを推定する。
  • \(~{}_pC_k~\)個のモデルの中から、\(R^2\)かRSSの意味で最良のモデル\({\mathcal M}_k~\)を選ぶ。
• \({\mathcal M}_0,\ldots~,{\mathcal M}_p~\)から、CV予測誤差、\(C_p\)、AIC、BIC、Adjusted \(R^2\)などを使い最良のモデルを選ぶ。

説明変数の数が同じ中での比較では、自由度修正は必要ないが、説明変数の数が異なるモデルの比較には修正が必要なため、上記の手順になる。

段階選択法

前向き選択

• \({\mathcal M}_0~\)をNull Model（predictorの入っていないモデル）とする。
• \(k=0,\ldots,p-1\)について
  • \({\mathcal M}_k\)に入っていないpredictorを考える。
  • \(p-k\)個の変数のうち\(R^2\)やRSSの意味で最良のものを加えたモデルを\({\mathcal M}_{k+1}\)とする。
• \({\mathcal M}_0,\ldots~,{\mathcal M}_p~\)から、CV予測誤差、\(C_p\)、AIC、BIC、Adjusted \(R^2\)などを使い最良のモデルを選ぶ。

総当たりならば\(2^p\)個のモデルの比較が必要だが、この手続きにより\(1+p(p+1)/2\)個のモデルの比較で十分になる。

後ろ向き選択

• \({\mathcal M}_p~\)をFull Model（predictorのすべて入ったモデル）とする。
• \(k=p,\ldots,1\)について
  • \({\mathcal M}_k\)から１つのpredictorを除いたすべてのモデル考える。
  • \(k\)個の変数のうち１つのpredictorを除いたモデルのうち、\(R^2\)やRSSの意味で最良のモデルを\({\mathcal M}_{k-1}\)とする。
• \({\mathcal M}_0,\ldots~,{\mathcal M}_p~\)から、CV予測誤差、\(C_p\)、AIC、BIC、Adjusted \(R^2\)などを使い最良のモデルを選ぶ。

総当たりならば\(2^p\)個のモデルの比較が必要だが、この手続きにより\(1+p(p+1)/2\)個のモデルの比較で十分になる。

混合選択法

forwardのあとにbackward

最適なモデル選択

Training error vs Test error

Test errorの意味で良いモデルを選びたい。

\(C_p\), AIC, BIC, and Adjusted \(R^2\)

MSEとRSSは関係しており、Least Squaresはtraining set RSSを小さくするので、training MSEはtest errorの過小推定になっており使えない。そこで、test errorの一致なり不偏推定量なりになるようにadjustしたもので評価しようという考えに至る。

\(d~\)個のpredictorを含むLeast Squaresに対して

\[C_p=\frac{1}{n}(RSS+2d\hat{\sigma}^2)\]

\(C_p\)はtest MSEの不偏推定量である。

最尤推定量に適用できる基準にAICがある。\(d~\)個のpredictorを含むgaussian Linear MLEに対してAICは

\[AIC=\frac{1}{n}(RSS+2d\hat{\sigma}^2)\]

となり\(C_p\)と一致する。

ベイズ統計の観点からの評価指標としてBICがある。

\[BIC=\frac{1}{n}(RSS+\log(n)d\hat{\sigma}^2)\]

\(R^2\)の自由度の修正という観点からadjusted \(R^2\)も用いられる。

\[\text{Adjusted}~R^2=1-\frac{RSS/(n-d-1)} {TSS/(n-1)}\]

クロスバリデーション

AICやBICなどは計算が簡単だが、そのための仮定も入っている。その意味で、Cross Validationはより好ましい。以前は計算機の能力の問題が顕著だったが、近年ではそれも和らいできている。

縮小法

目的関数に正則化項を加えることで、変数選択を行う方法を紹介する。

リッジ回帰

線形回帰のRSSは

\[\text{RSS}=\sum_{i=1}^n\left(y_i-\beta_0-\sum_{j=1}^p \beta_j x_{ij}\right)^2\]

Ridge回帰ではこれに\(\beta\)の２乗に比例するペナルティ項を付け加えて評価を行う。

\[\sum_{i=1}^n\left(y_i-\beta_0-\sum_{j=1}^p \beta_j x_{ij}\right)^2+\lambda\sum_{j=1}^p \beta_j^2=\text{RSS}+\lambda\sum_{j=1}^p \beta_j^2\]

\(\lambda\sum_{j=1}^p \beta_j^2\)をshrinkage penaltyという。\(\lambda\)はチューニングパラメタである。

\[\min_{\beta}\left\{\sum_{i=1}^n\left(y_i-\beta_0-\sum_{j=1}^p\beta_j x_{ij}\right)^2\right\}~~s.t. ~~\sum_{j=1}^p \beta_j^2\leq s\]

Lasso

LassoではRSSに\(\beta\)の絶対値に比例するペナルティ項を付け加えて評価を行う。\(\lambda\)はチューニングパラメタである。

\[\sum_{i=1}^n\left(y_i-\beta_0-\sum_{j=1}^p \beta_j x_{ij}\right)^2+\lambda\sum_{j=1}^p |\beta_j|=\text{RSS}+\lambda\sum_{j=1}^p |\beta_j|\]

LassoはRidgeと比較してペナルティによって\(\beta\)が\(0\)になりやすい（後述）ので、変数選択や解釈が簡単になる。

これらは制約付き最小化問題としての解釈が出来る。

\[\min_{\beta}\left\{\sum_{i=1}^n\left(y_i-\beta_0-\sum_{j=1}^p\beta_j x_{ij}\right)^2\right\}~~s.t. ~~\sum_{j=1}^p|\beta_j|\leq s\]

制約付き最小化問題の比較がFig.6.7であり、Lassoのほうが0が容易に得られることがわかる。Fig.6.7はRidgeが有利なDGPである。

Lassoの変数選択

Lassoとリッジ回帰の比較

Ridge回帰とLassoの関係を示すシンプルな例

\(n=p\)

\({\mathbf X}=diag(p)\)

Regression without intercept

とすると回帰は \[\sum_{j=1}^p(y_j-\beta_j)^2\] に簡単化される。最小２乗推定量は \[\hat{\beta}_j=y_j\] である。RidgeとLassoではそれぞれ目的関数 \[\sum_{j=1}^p(y_j-\beta_j)^2+\lambda\sum_{j=1}^p\beta_j^2\] \[\sum_{j=1}^p(y_j-\beta_j)^2+\lambda\sum_{j=1}^p|\beta_j|\] を考えればよく。その結果推定量は以下の表現を得る。 \[\hat{\beta}_j^R=y_j/(1+\lambda)\] \[\hat{\beta}_j^L=\left\{\begin{array}{ll} y_j-\lambda/2&\text{if }y_j\gt\lambda/2\\ y_j+\lambda/2&\text{if }y_j\lt-\lambda/2\\ 0&\text{if }|y_j|\leq\lambda/2 \end{array} \right.\]

Ridge回帰とLassoのベイズ的解釈

チューニングパラメーターの選択

Cross Validationによる例？

次元を下げる方法

ここまで考えてきたdimension reduction

• predictorの部分集合を使う
• predictorの係数を0に近づける

ここでは、predictorを変形する方法を紹介する。 \[Z_m=\sum_{j=1}^p \phi_{jm}X_j\]

• \(X_1,\ldots,X_p\)はpredictor
• \(M\lt p\)
• \(\phi_{1m},\ldots,\phi_{pm}~(m=1,\ldots,M)\)はパラメタ

\(y_i\)を\(Z_m\)に回帰すると以下のような表記になる。 \[y_i=\theta_0+\sum_{m=1}^M\theta_m z_{im}+\epsilon_i,~~~~i=1,\ldots,n,\] このモデルでは説明変数の数が\(X\)の\(p\)と比較して\(M\)に減少している。
\(Z_m\)を決定するパラメタをうまく選べば、単なる\(X\)による回帰と比較して\(Z\)による回帰は良い結果をもたらすかもしれない。
\(Z\)の定義に注意して線形部分を書き直し、\(X\)の係数を\(\beta\)と書けば、以下のような表現になる。 \[\sum_{m=1}^M\theta_m z_{im}=\sum_{m=1}^M\theta_m\sum_{j=1}^p\phi_{jm}x_{ij} =\sum_{j=1}^p\sum_{m=1}^M\theta_m\phi_{jm}x_{ij}=\sum_{j=1}^p\beta_jx_{ij}\] \[\beta_j=\sum_{m=1}^M \theta_m \phi_{jm}\] この\(\beta\)の表現は、

• \(\beta\)の取りうる値に制約をかけるので、バイアスの原因となる
• 一方説明変数の数を少なくすることで分散を小さくする。

このアイデアを実装するモデルとしてPrincipal Component RegressionとPartial Least Squaresを紹介する。

主成分回帰

\(X_1,X_2\)の２変数の場合について\(Z_m\)の作り方を説明 \[\phi_{11}^2+\phi_{21}^2=1\] という制約の下で \[Z_1=\sum_{j=1}^2 \phi_{j1}X_j\] の分散を最大にするよう\(\phi_{11},\phi_{21}\)を決定する。
\(Z_2\)は\(Z_1\)と相関せず、かつ分散が最大になるように\(\phi_{12},\phi_{22}\)を決定することで定める。
\(X\)の個数分まで、この操作は続けられる。
決定された\(\phi_{11}.\ldots,\phi_{PM}\)により\(Z_m\)を作り、OLS推定に利用する。
\(M\)の決定にはしばしばクロスバリデーションが用いられる。

部分的最小２乗法

• Principal Components Regressionでは、\(X\)の共分散構造のみから\(Z\)を決定した
• \(X\)の共分散構造のみから\(Z\)を決定したので「教師」入力がいらない
• 決定に\(Y\)の情報が入っていないので、\(Y\)の予測の観点では最良の決定方法にはなっていない

手順

• \(X_j(j=1,\ldots,p)\)を標準化
• \(Y\)を\(X_j\)に単回帰しその組み合わせとして\(Z_1=\sum_{j=1}^p \phi_{j1}X_j\)の\(\phi_{j1}\)を決定する
• \(X_j\)を\(Z_1\)に回帰し残差を得る。
• \(Y\)をこれらの残差に回帰しその組み合わせとして\(Z_2=\sum_{j=1}^p \phi_{j2}X_j\)の\(\phi_{j2}\)を決定する
• この手順を繰り返す

高次元での問題について