玄関雑学の部屋雑学コーナー統計学入門

9.3 1変量の場合

(1) 尤度と最尤法

判別分析では尤度(ユウド、likelihood)という概念が重要になります。 尤度は確率の親戚で、特定の母数の「もっともらしさ」を表す値です。 例えばある母集団があり、そのTCは母平均が200、母標準偏差が20の正規分布をしていたとします。 この母集団からひとつのデータをサンプリングした時、それが240である確率は理論的に計算することができます。 そしてこの場合、サンプリングしたデータの値は正規分布に従って確率的に変動するので確率変数になります。 それに対して母平均と母標準偏差は定数であり変動しません。

しかし研究現場で我々が実際に手にすることができるのは標本集団のデータだけです。 そのため母集団の母数は、標本集団のデータに基づいてもっともらしい値をあれこれと推測するしかありません。 したがって我々にとっては標本集団のデータは値が変動しない定数であり、母数は値が変動する変数のように思えてしまいます。 そこで母数を色々と変化させた沢山の母集団を想定し、それらの母集団から実際に手にしている標本集団のデータが得られる確率を計算すれば、その確率はそれらの母数のもっともらしさを表す指標になるはずです。 これが尤度です。

例えば母平均が200で母標準偏差が20である母集団から、240というデータが得られる確率が仮に0.1だとします。 すると実際に手にしているデータ240について、この母平均と母標準偏差の尤度は0.1ということになります。 また母平均が250で母標準偏差が20である母集団から240というデータが得られる確率が仮に0.3だとすると、この母平均と母標準偏差の尤度は0.3ということになります。 この2つの尤度を比べると後者の方が大きく、実際に手にしている240というデータは後者の母集団からサンプリングした可能性が高いと判断できます。

このように尤度が最も高い母数を推定する方法を最尤法(ML法、Maximun Likelihood method)といい、判別分析はこの最尤法を利用して群を判別します。 ちなみに最小2乗法は最尤法の特別な場合に相当し、データが正規分布する時、両者の推定値は一致します。 (注1)

我々が日常「確率」という言葉を使う時は、数学的な意味でいう本来の確率と、この尤度を混同していることが多いようです。 例えば悪性の遺伝病に犯された異常な性格の一家があり、その家の老婆が何とマンドリンで殴り殺されたとします。 警察は沢山の容疑者の中から長男に目をつけ、

ホシは長男である確率が高い! なぜなら、ヤツには強力な動機があるからだ」

と推理します。 そこへ例によって名探偵が登場し、

「問題は、凶器にふさわしい物が他にいくらでもあるにもかかわらず、なぜこの犯人はわざわざマンドリンを選んだのか、ということですよ。 というのも、マンドリンで人を殺せる確率など非常に低いと思われるからです」

と、意外な凶器に着目して推理を展開していきます。

ここで警察が使っている「確率」という言葉は、よく考えてみると本当は尤度に近い意味です。 実際には犯人ははっきりと確定しているのですが、警察(あるいは読者?)にはまだ誰であるかわからないため、犯人があたかも変数のように思えてしまうのです(そのものずばり、犯人を未知数Xに見立てた推理小説としてクイーンの傑作推理小説『Xの悲劇』が有名です)。 そして警察は容疑者に関する色々なデータに基づいて、その人物が犯人である可能性を検討し、犯人らしさが最も高い人物に目星(”ホシ=犯人”の語源)をつけたのです。

一方、名探偵が使っている「確率」という言葉はさすがに本来の確率に近く、沢山の人間を片っ端からマンドリンでブン殴った時、それによって死んでしまうような人間の数は、おそらくごくわずかしかいないだろうという推測に基づいています。

ちなみに、なぜこの犯人がマンドリンを凶器として選んだのか知りたい方は、クイーンの傑作推理小説『Yの悲劇』をお読みください。 ただし私見ながら、その理由は少々こじつけぎみであり、解答を読む前にそれを推理できる日本人の読者は1000人に1人いるかいないかだと思います。 また、たいていの推理小説は「最も犯人らしくない人物」が真犯人であることはご存知のとおりです。 そこで読者は尤度が最小の人物を探すことになり、「最(大)尤(度)法」ならぬ「最(小)尤(度)法」を適用しなければなりません。

このように確率も尤度も日常用語では「確率」または「可能性」という言葉で表現され、混同されることが多いのですが、数学的には別々の概念です。 そして数学者ではない我々一般人には、どちらかといえば尤度の方が馴染みやすいと思います。 というのも我々が実際に手にすることができるデータは全て標本集団に関するものばかりであり、母数は標本集団のデータからそれらしい値をあれこれ推測するしかなく、たいていの場合は永遠に謎のままのことが多いからです。

(2) 尤度を利用した群の判別

さて、いよいよ本題である群の判別について説明することにしましょう。 まず表9.1.1のTCを例にして、一番単純な変数が1つの時から考えてみます。 表9.1.1のTCは、正常群と動脈硬化症群の母集団からサンプリングした標本集団のデータであると考えられます。 このデータに基づいて、それぞれの母集団のTCに関する母数を次のように推定します。

正常群:母平均推定値=標本平均値=207  母標準偏差推定値=不偏標準偏差=18
動脈硬化症群:母平均推定値=標本平均値=251  母標準偏差推定値=不偏標準偏差=19

これらの母数推定値とデータが正規分布するという仮定から、特定のTCの値がそれぞれの母集団から得られる確率を計算することができます。 そしてその確率が特定のTCの値に対する2つの母集団の尤度になります。 そこで正常か動脈硬化か不明な被験者についてTCを測定し、その値に対する2つの母集団の尤度を比較することによって、どちらの群に属するか判別することが可能になります。

しかし、いちいち尤度を計算するのは面倒です。 もし2つの母集団に対する尤度が同じになるTCの値が計算できれば、その値を境界値にすることによって群の判別を簡単にすると同時に、感度や特異度を求めることもできそうです。 そこで計算を単純にするために、2つの群の母標準偏差が同じと仮定します。 そうすると2つの母集団に対する尤度が同じになるTCの値は2つの母平均値のちょうど真ん中になり、この場合は次のようになります。 (注2)

図9.3.1 尤度を利用した判別
○境界値=(207 + 251)×0.5=229
TC>229 なら動脈硬化症の尤度の方が大きくなるので動脈硬化症と判別
TC<229 なら正常の尤度の方が大きくなるので正常と判別
この時の判別確率=感度=特異度=正診率≒89%  誤判別確率=1−判別確率≒11%

これらの結果は図9.3.1を見れば感覚的に理解できると思います。 誤判別確率は誤診率に相当し、判別分析では判別確率よりもこの誤判別確率を前面に出します。 これは検定における危険率と同じような扱い方であり、統計学では間違える確率の方を重視するという原理に基づいています。

この時の正診率は正常群と動脈硬化症群の例数が同じ、つまり動脈硬化症の有病率が50%の時の値であり、動脈硬化症の有病率が変われば正診率も変わります。 しかし2つの群の標準偏差が同じなら境界値は変わらず、判別確率と感度および特異度は変わりません。 そのため判別分析によって求めた境界値は「正診率を最大にする」という基準ではなく、感度と特異度のバランスを重視し、「感度と特異度の平均値を最大にする」という基準で求めた境界値ということになります。 この境界値の基準は第2節のRCD曲線またはROC曲線を利用した境界値の基準とほぼ同じであり、データが正規分布して2群の標準偏差が同じなら3種類の方法で求めた境界値は理論的に一致します。

図9.3.1において動脈硬化症群の尤度と正常群の尤度の比を取ると、データが境界値229以上の時は1以上になり、229未満の時は1未満になります。 そのため観測されたTCについて尤度比を求め、それを判別の指標として利用することができます。

しかし検査結果がTCのように計量値で得られるわけではなく、陽性か陰性かという定性的な結果しか得られない検査もあります。 そのような場合は疾患である人がその検査をして陽性になる確率つまり真陽性確率と、正常の人がその検査をして陽性になる確率つまり偽陽性確率がわかれば、検査結果が陽性の時に疾患である尤度と正常である尤度がわかり、尤度比を求めることができます。 真陽性確率はとりもなおさず感度のことであり、偽陽性確率は(1−特異度)のことなので、その検査の感度と特異度がわかれば尤度比を求めることができるわけです。 そして尤度比が大きいほど検査結果が陽性の時に疾患である確率が高くなり、高い確率で判別を行うことができます。

この原理を利用して、検査項目が診断に有用であるかどうかを表す指標として尤度比を用いたものが第2節で説明した陽性尤度比と陰性尤度比です。 陽性尤度比は検査結果が陽性である時の疾患の尤度と正常の尤度の比であり、陰性尤度比は反対に検査結果が陰性である時の疾患の尤度と正常の尤度の比です。 検査の感度と特異度が高いほど陽性尤度比は1より大きくなり、陰性尤度比は1より小さくなります。 そのため陽性尤度比と陰性尤度比を検査項目が診断指標として有用かどうかを表す指標として用いることができます。


(注1) 母数θ、確率密度関数p(x|θ)の母集団から、お互いに独立なn個の観測値x1、…、xnを得る確率は次のようになります。

この時、観測値x1、…、xnを固定して母数θを変数のように捉えた左辺ℒ(θ|x1,…,xn)をθの尤度といい、その内容である右辺を尤度関数といいます。 そして尤度を最大にするθの推定値を最尤推定量(maximum likelihood estimator)といい、最尤推定値を求める手法を最尤法といいます。 最尤推定値は統計学的に好ましい次のような性質を持っています。

  1. θに漸近的に収束する一致性
  2. 他の推定量に比べて分散が漸近的に最小になる有効性
  3. 漸近的に正規性を持つ
  4. 比較的簡単な加工で期待値E(最尤推定値)がθに一致する不偏性を与えることができる

尤度関数は確率密度関数の積で表されるため、最尤法では扱いやすいように尤度関数を対数変換します。 そしてその対数尤度関数をθで微分し、それを0と置いた微分方程式を解くことによって最尤推定量を求めます。 ただし多くの場合はその方程式を直接解くことができないため、ニュートン(Newton)法などを利用して近似解を求めます。


母数が複数ある時は、対数尤度関数を母数ベクトルθで偏微分してベクトルと置いた連立偏微分方程式を解きます。

     

この時、モデルの当てはまりの良し悪しを表す指標として赤池の情報量基準AIC(Akaike's Information Criterion)という値を計算することができます。

AIC=-2{L(θ) - p}=-2L(θ) + 2p=2{p - L(θ)}
p:母数の個数  L(θ):対数尤度

原則として、モデルの当てはまりは尤度または対数尤度が大きいほど良くなります。 しかし母数が多くなれば必然的に尤度が大きくなります。 そのため尤度だけを指標にすると複雑なモデルほど当てはまりが良いということになり、いたずらにモデルを複雑にしてしまいかねません。 そこでできるだけ母数の少ない単純なモデルで、しかも尤度の大きいモデルが最適なモデルであるという考え方から、母数の個数と対数尤度を組み合わせたAICが提唱されました。 このAICを最小にするモデルが科学的に最も好ましいモデル候補ということになります。

回帰関数y=f(x|θ)+εにおいて、回帰誤差εが正規分布に従うとすると次のような確率密度関数が得られます。


E(ε)=0  V(ε)=σ2

そしてn個の観測値から求めたεiに最尤法を適用すると次のようになります。


この式から、L(θ|ε)を最大にするには次のようにすれば良いことになります。

→ 最小

特にσi22(等分散)の時は次のようになります。

→ 最小

これは重み付け最小2乗法または普通の最小2乗法の原理に他なりません。 このように最尤解は誤差εが正規分布する時は最小2乗解と一致し、BLUE(最良線形不偏推定量)解になります。 この最小2乗法の原理に基づいた重回帰分析では、AICは次のようになります。 (→5.1 相関係数と回帰直線5.3 計数値の相関と回帰 (注4)7.1 重回帰モデル (注1))


n:例数  k:説明変数の個数  Q=SR:残差平方和

この式の最初の2つの項は定数であり、AICの大小には影響を与えないので省略することがあります。 また母数の数が(k+2)になっているのは、母数としてk個の説明変数以外に目的変数が1個と誤差分散が1個あるからです。 そこでこれもkにしてしまい、次のような簡略な式を用いることがあります。

さらにAICは例数無限大と仮定した時の漸近的理論式のため、例数が少ない時は有限修正を施した次のような式を用いて「AICc」または「c-AIC」で表すことがあります。

またベイズ統計学(ベイジアン統計学、Bayesian Statitics)では、AICを少し修正したベイズ情報量基準BIC(Bayesian Information Criterion、シュワルツのベイジアン情報量基準)を用いることがあります。 (→付録6 ベイズ統計学)

BIC=-2L(θ) + p ln(n)
重回帰分析の場合:

(注2) 正規分布に従う2つの母集団g1とg2があり、それぞれの母平均と母分散がμ1とσ12、μ2とσ22だとします。 今、どちらの群に属するかわからない個体の観測値xoがあったとすると、xoがそれぞれの群に属す確率つまりμ1とσ12、μ2とσ22の尤度はそれぞれ次のようになります。 そして最尤法の原理にしたがってxoがどちらの群に属すか判別することができます。

図9.3.2 尤度による判別
  
の時、群g1に属すと判別
の時、群g2に属すと判別

判別をもう少し簡単に行うために、2つの尤度を対数にしてその差をzとすると次のようになります。

ここで2群の母分散が等しく、σ12222とすると次のようになります。

この式でz=0と置いて、xの境界値xcを求めると次のようになります。

  

xo>xc なら z>0 つまりとなり、g1に属すと判別
xo<xc なら z<0 つまりとなり、g2に属すと判別

以上のように2群の母平均の中点が境界値xcになります。 最尤法などという大袈裟な手法を使いながら、結果はしごく単純であり、「大山鳴動して鼠一匹」という感じです。 まあ真理というものは、えてしてこんなものでしょう。

2群の母分散が等しくない時は以下のようになります。 ただしこの時は感度と特異度そして正診率が同じ値になるとは限りません

  

※符号(±)はμ2<μ1の時はマイナスを、μ2>μ1の時はプラスを用いる。

ちなみにこの境界値は2群の例数が等しい時つまり疾患の有病率πD=0.5の時に、正診率を最大にする境界値になります。 感度をSN、特異度をSPとすると、πD≠0.5の時に正診率ACを最大にする境界値は次のようになります。 これは理論的DP-plotにおけるAC-pointに相当します。 (→9.2 群の判別と診断率 (注3))




両辺の対数をとって整理すると

○2群の母分散が等しい時:σ12222

○2群の母分散が等しくない時

※符号(±)はμ2<μ1の時はマイナスを、μ2>μ1の時はプラスを用いる。 またルートの中が負になる時は計算不可能。

または感度と特異度が等しくなる時の境界値は次のようになります。 これは理論的DP-plotにおけるSS-pointに相当し、感度と特異度と正診率が同じ値になります。 そしてこの式から、2群の母分散が等しい時の境界値は2群の母平均値の中点になることがわかります。 (→9.2 群の判別と診断率 (注3))


両方の分布を標準正規分布にした時の正規偏位より