(注1)　変数増減法による重回帰分析は、掃き出し法を利用して次のような手順で行います。

1) 重回帰モデル

この重回帰モデルについてｙも含めたデータ行列、

を用意して、その転置行列との積つまり単純積和行列Ａを作り、その右側に単位行列を並べたものをＡ₀とします。

後の計算のために、Ａ₀の行と列の番号を1〜(p+2)ではなく0、1、…、p、yと呼ぶことにします。

2) 積和行列に変換

₀a₀₀=nを軸にして第1行〜第y行まで掃き出します。

この操作によって左側の第0行は各変数の平均値ベクトルになり、第1行−第1列以下は各変数の積和行列になります。 この行列において、

を計算することによって、各変数間の単相関係数を求めることができます。 したがってこの行例を利用して、各変数の平均値、標準偏差、単相関係数を一度に求めることができます。

この掃き出しでは、次のようなモデルを当てはめたことになります。

yの本来の全情報量はΣy_i²であり、その担い手の数は次元数nです。 しかし通常は平均値の情報をさっぴいた時の平方和S_yyを全情報量、自由度(n-1)を担い手の数として、変数の取り込み・追い出しや重回帰式の分散分析に用います。

3) 取り込み変数の選択

ここから変数の選択に入ります。 今、第k番目(k=1,…,p、前述の状態はk=1)まで変数の取り込みが終了しているとします。

今までに取り込まれた変数は除いて、各説明変数と目的変数との単独共有情報量すなわち回帰平方和の増加分は次のようになります。

この値が最大のものを選び、次のような基準を満足すればその変数を取り込みます。

もし、

ならば、これで変数の選択を終了します。

4) 変数の取り込み

_ka_jjを軸にして掃き出し、第j番の変数を取り込みます。

5) 追い出し変数の選択

今までに取り込まれた変数のうち、yとの単独共有情報量すなわち回帰平方和の減少分は次のようになります。

この値は第2節で「偏回帰平方和S_bl」と呼んだものです。 この値が最小のものを選び、次のような基準を満足すればその変数を追い出します。

もし、

ならばそのままにし、また3番に戻って変数の取り込みを続けます。

6) 変数の追い出し

第l番の変数を追い出すには、右側の逆行列の_k+1a_ll^(-1)を軸にして掃き出し、Ａ_kに戻します。

この後でまた3番に戻り、取り込む変数がなくなるまで同様の手順を繰り返します。

7) 各種統計量の計算

最終的に第r番目の変数を取り込んで変数の選択が終了したとしますと、次のようにして各種の統計量を計算します。

・回帰の検定(重相関係数の検定)

・偏回帰係数の検定

回帰の検定は今までと同様に実質的な意味はほとんどなく、偏回帰係数の検定はもっと意味がありませんが、一応、書いておきます。 これらの検定は回帰誤差εが近似的に正規分布することを必要とします。 よく誤解されていますが、重回帰式そのものを計算するには正規性は必要ではなく、検定を行う時だけ目的変数の回帰誤差の正規性を必要とします。 目的変数そのものの正規性は必要ではなく、説明変数の正規性は全く必要としません。 原理的に説明変数は任意に設定できますので、変数である必要さえありません。

そもそも多変量解析は記述統計学的手法であり、推測統計学的手法である検定とはなじみが悪いのです。 例えば、多変量解析では合理的な対立仮説を設定することが難しいため、βエラーが計算できず、必要例数の計算もできません。 このため検定はどうしても有意性検定になり、偏回帰係数が完全に0でない限り、例数さえ増やせば必ず有意になります。 このため、検定に実質的な意味がほとんどなくなってしまうのです。

変数選択基準として、F値ではなく、偏回帰係数の検定の有意確率p値を利用して、次のようにする方法もあります。

しかし、有意確率p値は説明変数の影響の強さをそのまま反映するわけではなく、例数が少ない時は大きな値になり、例数が多い時は小さな値になります。 このため、例数が少ない時はいくら影響の強い説明変数があっても選択されず、例数が多い時は影響の弱い説明変数まで選択されてしまうので、あまり合理的な基準とはいえません。

 

表6.1の例題について実際に計算してみましょう。

1) 積和行列の計算とＡ₀の用意。

2) ₀a₀₀=10で掃き出し。

3) 取り込み変数の選択。

したがってまずx₁を選択し、

よって、x₁を取り込みます。

4) ₁a₁₁=3090で掃き出し。

5) 取り込んだ変数が今取り込んだx₁だけのため、変数追い出しステップは飛ばします。

6) 取り込み変数の選択。

よって、x₂を取り込みます。

7) ₂a₂₂=16676.375で掃き出し。

8) 追い出し変数の選択。

今取り込んだばかりのx₂は候補からはずします。

したがってx₁は追い出さず、これで変数の選択を終了します。

9) 以上より、各種統計量は次のようになります。

水準数つまり群の数がp個の一元配置モデル、

は、(p-1)個のダミー変数を説明変数にした重回帰モデルとして次のように表現することができます。

この場合、行列Ｘは一元配置のデザインを決めるものになるので「デザイン行列」と呼ばれます。 ダミー変数が群の数より1つ少ないのは(p-1)個でp個の群を過不足なく表現できるからで、これは要因Aの自由度が(p-1)になることと関連しています。 ダミー変数が全て0で表される群1は便宜的に基準になる群ですので、普通はコントロール群を割り当てます。

このモデルについて正規方程式を解くと次のようになります。

Ｘ'Ｘの逆行列は余因子行列を用いて次のように計算します。

この時、回帰についての分散分析表がそのまま一元配置分散分析表になり、重回帰は一元配置分散分析と一致し、重寄与率が相関比ηの平方になります。 そして偏回帰係数b_jの検定は、群1の平均値と群jの平均値のフィッシャー型多重比較になります。 したがって多重比較の考え方を重回帰分析にも適用するなら、偏回帰係数の検定はフィッシャー型ではなく、例えばボンフェローニ型などにすべきだと考えたくなります。

しかし重回帰分析の場合は説明変数間に相関があり、それらが有機的に組み合わさって目的変数に影響を与えていると考えます。 このため個々の説明変数を独立に検定することにはあまり意味がなく、特定の説明変数の組み合わせが目的変数にどの程度影響しているかを評価する、つまりどのような説明変数を組み合わせたモデルが最適かを評価することに重点があります。 そして個々の説明変数の偏回帰係数を検定するのは、あくまでも個々の説明変数の寄与分を独立に評価するためであり、多重比較のように、それらの検定結果を総合してファミリーとしての結論を導くということはありません。 このため普通は、偏回帰係数の検定にボンフェローニ型などの多重比較を適用する必要はありません。 (→4.1 多標本の計量値)

また説明変数が計量値ではなく、一元配置分散分析のような名義尺度(分類データ)ばかりの時もダミー変数を利用して重回帰分析を行うことができます。 例えば説明変数として性と診断名があり、次のように分類されていたとします。

この場合、次のように4つのダミー変数を用いた重回帰モデルで表現することができます。

このモデルについて重回帰分析を行うと、その偏回帰係数は次のようになります。

これらは性差または疾患差であると同時に、名義尺度に数量を与えて数量化(quantification)または尺度化(scaling)したものと解釈することができます。 このように名義尺度に何らかの規準に従って数量を与える手法を「数量化理論(quantification theory)」といい、我が国の林博士によって発展されたため日本では有名です。 数量化理論のうち、ダミー変数による重回帰分析と等価の手法を「数量化I類」といいます。

また説明変数の中に計量尺度のものと名義尺度のものとが混在している場合には、「共分散分析(ANCOVA、analysis of covariance)」と呼ばれる手法になり、目的変数が名義尺度の場合には「判別分析(discriminant analysis)」と呼ばれる手法になります。 これらの手法については第8章と第9章で説明します。 (→第8章　共分散分析、第9章　判別分析)

(注2)　重回帰モデルの当てはまりの良し悪しを評価する指標として、色々な値が提唱されています。 その中から代表的なものを紹介しましょう。

1) 自由度調整済み重寄与率R'²

平方和の代わりに自由度で調整した平均平方和つまり分散を用いて定義した寄与率であり、自由度調整済み決定係数とも呼ばれています。 この値が大きいほど当てはまりの良いモデルと評価します。

R'²が大きくなるということは、残差分散V_Rが小さくなるということです。 (注1)から、変数取り込み基準F_inと追い出し基準F_outは変数の回帰分散と残差分散の分散比であることがわかると思います。 そしてこの値が1以上の変数を取り込むか、または1未満の変数を追い出せば、残差分散が小さくなることになります。 したがってF_inとF_outを1にした時の変数選択基準は、実はR'²を最大にするという変数選択基準に相当することになります。

表6.1の例題について、x₁だけを取り込んだ時と、x₁とx₂を取り込んだ時のR'²を実際に計算すると次のようなります。

この結果より、2つの変数を取り込んだモデルの方がR'²が大きく、より当てはまりの良いモデルと考えられることがわかります。 なおR'²は寄与率の一種ですが、あくまでもモデルの妥当性を表す指標であり、目的変数の全変動の中で説明変数によって説明される変動の割合と解釈することはできないので注意が必要です。

2) 赤池の情報量基準AIC(Akaike's Information Criterion)

最尤法におけるモデルの当てはまりの良し悪しを評価する指標であり、最小2乗法を用いる重回帰分析では対数残差平方和を用いた簡略な式を用います。 この値が小さいほど当てはまりの良いモデルと評価します。 (→9.3 1変量の場合 (注1))

AICが小さくなるということは、残差平方和S_Rが小さく、かつ説明変数の個数も少なくなるということです。 したがって残差分散が小さいほど良いということとほぼ同じ意味になり、例数が十分に大きい時はF_in=F_out=2とした時の変数選択基準に漸近的に相当します。

表6.1の例題について、x₁だけを取り込んだ時と、x₁とx₂を取り込んだ時のAICを実際に計算すると次のようなります。

この結果より、2つの変数を取り込んだモデルの方がAICが小さく、より当てはまりの良いモデルと考えられることがわかります。

3) マローズ(C. L. Mallows)の当てはめ係数C_p

目的変数の推定値に関して偏りとばらつきの両方を考慮した指標として、マローズによって提唱された値です。 この値が小さいほど当てはまりの良いモデルと評価します。

AICと同様に、C_pも残差平方和が小さく、かつ説明変数の個数が少なくなるほど小さくなります。 このため例数が十分に大きい時、C_pの最小化とAICの最小化は漸近的に同等になります。

表6.1の例題について、x₁だけを取り込んだ時と、x₁とx₂を取り込んだ時のC_pを実際に計算すると次のようなります。

この結果より、2つの変数を取り込んだモデルの方がC_pが小さく、より当てはまりの良いモデルと考えられることがわかります。

これらの指標はモデルの科学的な妥当性を評価するものではなく、数学的な当てはまりの良し悪しを評価する値です。 したがってこれらの指標を用いて最良と評価されたモデルは、あくまでも科学的に最良なモデルの候補にすぎません。 モデルが本当に科学的に最良かどうかは、やはりモデルの内容を科学的に吟味してから決定しなければなりません。