| 前口上 | 目次 | 第1章 | 第2章 | 第3章 | 第4章 | 第5章 | 第6章 | 第7章 | 第8章 | 第9章 | 第10章 |
| 第11章 | 第12章 | 第13章 | 第14章 | 第15章 | 第16章 | 第17章 | 第18章 | 第19章 | 第20章 | 付録 |
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
データの要約法の次は推定と検定について説明しましょう。 そもそも推測統計学すなわち近代統計学では標本集団の要約値から母集団の要約値つまり母数を確率的に推測し、それによって母集団の様子を記述します。 この時、母数を推測する手法として推定(estimation)と検定(test)の2種類があります。
推定は母数がどれほどの値なのかを推測する手法であり、検定は母数が科学的に意味のある基準値と等しいか等しくないかを○×式で推測する手法です。 つまり推定はpH計のような定量試験に相当し、検定はリトマス試験紙のような定性試験に相当するといえるでしょう。
統計学はこの2本の柱からできていて、当然、定量試験である推定の方がより重要です。 ところが実際の研究現場では推定よりも検定の方がはるかに頻繁に利用されていて、検定の方が重要だと思い込んでいる人が多いのは何とも残念なことです。 これはひとえに○×試験が大好きな厚生労働省や文部科学省等のお役所の責任であり、彼等の謀略によって広められた悪しき慣習です。 彼等は○×式なら自分達で判断する必要がなく負担が軽くなる――いや、本当は定量結果を自分達で判断できないという実に我侭な理由から検定を偏愛しているのです。
まずは推定について説明しましょう。 知名度の点では検定に劣る推定ですが、重要性という点では検定を凌駕していて、その概念は検定よりもわかりやすいと思います。 推定は求められた標本集団の要約値から母数を確率的に推測する手法です。 これには点推定(point estimation)と区間推定(interval estimation)というの2つの方法があります。
点推定は数学的には不確実ですが一般人には確実な手法であり、その名のとおり「これだ！」とばかりにただ1点で母数を推定する方法です。 例えば母平均値と母標準偏差を推定する時、次のように標本平均値をそのまま母平均値と考え、不偏分散の平方根をそのまま母標準偏差と考えてしまうのです。
ちなみにμとσの上に付いている記号「＾」は「ハット」と読み、まさしく山をかけた推定値であることを表します。 例えば第1節の体重測定の例では、母平均値と母標準偏差を次のように推定します。 何しろ山カンで推定した値ですから、これらが「ピンポーン！」と正解になる確率は低い——数学上は無限小——ものの、実用上はこれで十分でしょう。 (注4)
区間推定は数学的には確実なものの一般人には不確実な手法であり、これもその名のとおり、ある程度の幅を持たせて母数を推定する方法です。 その幅のことを信頼区間(CI：Confidence Interval)といい、信頼区間の下限と上限のことを信頼限界(CL：Confidence Limits)といいます。 そして信頼区間に母数が入っている確率を信頼係数(confidence coefficient)または信頼度といいます。
第3節で説明したように標本平均値の分布は漸近的に正規分布になり、その平均値つまり標本平均値の平均値は母平均値と一致し、標本平均値の標準偏差は標準誤差になります。 そして正規分布の性質から母平均値±2標準誤差の間に約95％の標本平均値が含まれます。 したがってある実験結果から標本平均値と標準誤差を得た時、標本平均値±2標準誤差の幅を設ければ、その間に約95％の確率で母平均値が入ることになります。 その幅の下限μLと上限μUは次のようになり、これを95％信頼区間(95％CI)といいます。
厳密にいうとSEに掛ける係数2は母標準偏差からSEを求めた時は値が変わりませんが、不偏分散の平方根SDで母標準偏差を推測してSEを求めた時は自由度(n-1)によって値が少し変わります。 この係数をt値といい、t(n-1,0.05)と書きます。 このt値の中の0.05つまり5％は95％の範囲から外れる標本平均値の割合のことです。 数学者はへそ曲がりなので信頼係数ではなく(1−信頼係数)を重視するのです。 t(n-1,0.05)は2に近い値ですが、自由度と(1-信頼係数)によって値が変化します。 そして次のように自由度が大きいほど、また(1−信頼係数)が大きいほど少し小さな値になります。 (注1) (→付録1 各種の確率分布)
正確な95％信頼区間と、それを一般化した100(1-α)％信頼区間はt(n-1,α)を利用して次のように計算します。
この場合の区間推定は実験結果から得られた標本平均値の左右つまり両側に信頼区間を設定するので、厳密には両側信頼区間といいます。 そのためt(n-1,α)は両側用であり、標本平均値の分布において中央部分の面積——図1.4.3の分布の灰色部分の面積——が(1-α)になるような値です。 そして信頼区間幅の半分つまりt(n-1,α)×SEが推定の実質的な精度を表すので、これを絶対精度(absolute precision)と呼ぶことがあります。
標本平均値の右または左だけに信頼区間を設定することも可能であり、それを片側信頼区間といいます。 その場合はt(n-1,2α)を用いて下限をμL=m-t(n-1,2α)×SEにして上限をμU=∞にするか、下限をμL=-∞にして上限をμU=m+t(n-1,2α)×SEにします。 この場合は標本平均値の分布の左端または右端の部分の面積がαになり、それ以外の部分の面積が(1-α)になります。 そして原則として片側検定には片側信頼区間が対応し、両側検定には両側信頼区間が対応します。 (→1.6 統計的仮説検定の考え方 (3) 片側検定と両側検定)
信頼係数は95％つまりα=(1−信頼係数)=0.05がよく用いられます。 第1節の体重測定の例で正確な95％信頼区間を求めると次のようになります。
この推定結果から「母平均値は95％の確率でほぼ58〜62の間にある」といえます。 ただし厳密にいうと95％信頼区間の意味するところは次のようなものです。
「もし母平均値(母数)が標本平均値(点推定値)と同じ値だったら、その母集団から無作為抽出した標本集団の標本平均値(点推定値)のうち95％のものが含まれる区間が95％信頼区間である」
つまり
「もし母平均値が標本平均値と同じ値だったら、今回と同じ試験を100回行って標本平均値を求めると、そのうちの95個は95％信頼区間の間に入っている」
本来、母平均値は値が変化しない定数であり、標本平均値と信頼区間の方が確率的に変動します。 そのため厳密にはこんなややこしい解釈になるわけです。 でもこの解釈ではあまり物の役に立たないので、もう少しかみ砕いた表現にすると次のようになります。
「母平均値が特定の値の時に95％信頼区間を100回得たら、そのうち95回は信頼区間の間に母平均値が入っている」
つまり
「母平均値が入っている信頼区間を得る確率が95％である」
1つの95％信頼区間の中に母平均値が入っている確率は、本当は95％ではなく0％(入っていない)か100％(入っている)です。 そしてその0％か100％の信頼区間が100個あった時、そのうちの95個は見事に当たり(100％)であり、残りの5個は残念ながらハズレ(0%)です。 そのため95％のことを信頼確率とは呼ばず、わざわざ信頼係数と呼んでいるのです。 (注2)
実は、一般的な統計学であるネイマン・ピアソン統計学で使う確率は主に一般的な確率つまり結果の確率です。 これは過去に起きた出来事に基づいてこれから起きる出来事の確率を表す値であり、ランダム性に基づいて未来に起きる出来事の確からしさを表す頻度的な確率です。 そして実際に出来事が起きた後の確率は「0」か「1」に確定します。 そのため信頼区間の中に母平均値が入っている結果の確率は「0」か「1」になるわけです。
それに対して逆確率つまり原因の確率という確率もあります。 これは現在起きている出来事に基づいて過去に起きたであろう出来事の確率を推測して表す値であり、情報不足に基づいて過去に起きた出来事の確からしさを表す主観的な確率です。 そして情報が増えて過去に起きた出来事が特定できれば確率は「0」か「1」に収束します。
そのため信頼区間の中に母平均値が入っている原因の確率を考えれば、信頼係数95％のことを確率と考えることも可能です。 事実、標本集団の例数をn→∞とすると、情報が増えて標準誤差がSE→0になって不確かさが無くなり、信頼区間は母平均値に収束します。 実際問題として結果の確率を使って「母平均値が入っている信頼区間を得る確率が95％である」と厳密ではあるもののややこしく解釈するよりも、原因の確率を使って「母平均値は95％の確率でほぼ58〜62の間にある」と厳密ではないものの単純に解釈する方が実用的でしょう。
このような考え方に基づいて、結果の確率の代わりに原因の確率を主に使う統計学としてベイズ統計学(Bayesian Statistics)というものがあります。 この統計学では信頼区間のことをベイズ信用区間(Bayes credible interval)またはベイズ確信区間と呼び、この区間に母平均値が入っている原因の確率を求めます。 (→付録6 ベイズ統計学)
それから一般に信頼係数は大きいにこしたことはありません。 しかし信頼係数100(1-α)％を大きくする、つまりαを小さくするとt(n-1,α)の値が大きくなり、信頼区間が幅広くなってしまいます。 いくら信頼係数が大きくても、例えば「母平均値は99.9％の確率で0〜1000の間にある」などという信頼区間があまりに広い推定は実用的ではありません。 これは、
「明日の天気は晴れ時々曇り、一時雨か雪あるいは雹、所によっては槍も降り、ひょっとすると飛行機か人工衛星か隕石も落ちてくるでしょう」
それとは反対に信頼係数を犠牲にすれば信頼区間を狭くすることができます。 しかし、どうしても信頼度の高い推定をしたい時もあるでしょう。 信頼係数を変えずに信頼区間を狭くするには標準誤差を小さくする必要があります。 標準誤差SEは次のような値でした。
この値を小さくするには例数を多くして分母を大きくするか、それともバラツキの少ないデータを集めて分子を小さくしなければなりません。 これらはどちらも実験を行う研究者の努力如何にかかっている要因です。 何事も額に汗して努力しなければ、それなりの報酬は得られないものです。
信頼区間の模式図を描くと図1.4.4のようになります。 とある海岸でNeyman-Pearson会主催の釣り大会があり、100名の釣師(fisher!)が参加しました。 彼等はm1〜m100のゼッケンを付けてスタート地点μから沖に出て、釣り船をランダムに動かしながら釣りをしていました。 そして終了時間になってスタート地点μに戻ろうとしましたが、みんな釣りに没頭していたのでスタート地点μの位置がわからなくなっていました。
そこで大会の主催者であるNeyman-Pearson会は、全ての釣り船のランダムな動きに基づいてスタート地点μを中心にした釣師達の理論的な分布を求め、95名の釣師が含まれる範囲を計算して釣師達を探します。 これが母集団から求めた95％信頼区間です。
それに対して釣師達は今いる位置から真っ直ぐ海岸に戻り、その地点を仮にスタート地点と仮定します。 さらに他の釣り船も自分の釣り船と同じようなランダムな動きをしているだろうと仮定し、自分の釣り船のランダムな動きに基づいて全ての釣り船のランダムな動きを推測します。 そして仮のスタート地点を中心にした釣師達の仮想的な分布を求め、95名の釣師が含まれる仮想的な範囲を計算して、大会の主催者が釣師達を探す方法と同様の方法でスタート地点を探します。 これが標本集団から求めた95％信頼区間であり、普通の95％信頼区間です。
この方法は自分の釣り船のランダムな動き――標本集団のデータ――に基づいて釣師達の仮想的な分布を求めます。 そのためその分布が、大会の主催者が全ての釣り船のランダムな動き――母集団のデータ――に基づいて求めた釣師達の理論的な分布と微妙に異なり、95名の釣師が含まれる範囲の幅つまり95％信頼区間の幅が微妙に異なることがあります。
その結果、図1.4.4の釣師m3のように、大会の主催者は釣師m3を探し出せる――母集団から求めた信頼区間に標本平均値が入る――のに、釣師m3は自分ではスタート地点を探し出せない――標本集団から求めた信頼区間に母平均値が入らない――ということが有り得ますし、釣師m1のようにその反対のことも有り得ます。 (→付録2 中心極限定理のシミュレーション−平均値と中央値)
ちなみに、もし釣師達がスタート地点μになりそうな場所に関する情報を事前に知っていれば、95名の釣師が含まれる仮想的な範囲をもっと絞り込むことができます。 この考えに基づいた仮想的な範囲がベイズ統計学におけるベイズ信用区間です。
それから点推定も区間推定も一長一短を持っていますが、普通は点推定だけ行い、重要な時だけ区間推定を行うのが一般的です。 そのため評価指標になることが多い平均値は区間推定をよく行うのに対して、標準偏差の区間推定は滅多に行いません。 しかし分散の区間推定法を応用して標準偏差の区間推定を行うこともできます。 (注3)
この時、もし母分散σ2がわかっていれば次のように計算します。 そしてこのt値は中心極限定理によって近似的に正規分布をします(元のデータxが正規分布していれば、このt値は正確に正規分布します)。
ところが普通はσ2はわからないので、不偏分散Vで代用して次のように計算します。
母分散は定数ですが、不偏分散は標本集団ごとに微妙に異なる変数です。 そのためこのt値は正規分布をせずに、背が若干低くて横幅の広い分布になります。 それをt分布(t distribution、Student distribution)といい、その確率密度関数f(t)は自由度をφ=n-1とすると次のようになります。
ただしガンマ関数Γ(x)は階乗関数n!を実数にまで拡張した関数であり、次のように定義されています。
またベータ関数Β(x,y)はガンマ関数を組み合わせた関数であり、次のように定義されています。
t分布はφ→∞の時、正規分布になります。 t分布表に載っている100α％点t(φ,α)は、f(t)についての積分値が次のようになる時の値です。 つまりαはt分布における分布の両裾の面積に相当し、これを両側確率といいます。 (→付録1 各種の確率分布、付録2 中心極限定理のシミュレーション−平均値と中央値)
このt分布を発見したのは、ダブリンの老舗ビール会社ギネスビールの統計技師をしていたゴセット(William Sealy Gosset)という人です。 ゴセットはスチューデント(Student)というペンネームで論文(1908年)を書いていて、論文中ではt値のことを「z値」と記述していました。
その後、フィッシャーがt値とその分布の重要性を認めて自分の論文(1925年)で紹介しました。 その時、標本分散s2の定義式の次にt値の定義式を記述したので、sの次の文字である「t」を使ったと言われています (sとtは「Student」の最初の2文字なので、フィッシャーがStudentに敬意を表して「t」を使ったと思いたいところですが、傲岸な彼の性格を考えるとその可能性は低いかもしれません(^_^;))。 そしてこの論文が有名になったので、現在でもこの値のことをスチューデントのt値と呼ぶことがあります。
ちなみにゴセットがペンネームを使ったのはギネス社が従業員の研究発表を認めていなかったからです。 そのためギネス社がゴセットの統計学上の業績を知ったのは1937年に彼が心臓発作で急死した後だったそうです。 後年、有名なギネスブックを出すことになるギネス社にしてはリサーチ不足であり、灯台下暗しといったところでしょう。
さらにちなみに、あの悪名高い偏差値は本質的にこのt値と同一のものであり、統計学以外にはあまり意味のない値です。 それをこともあろうに人間のランク付けに使うなどというのは愚の骨頂で、お役人の謀略は何と教育現場にも蔓延しており、いたいけな青少年の精神をジワジワと蝕んでいるのです！
正規分布の場合はφ=∞であり、t(∞,0.05)=1.96≒2なので、95％信頼区間は次のように近似できます。
この時の信頼区間の意味は次のようなものです。
「N(μ,σ2)に従う母集団からn例の標本集団を無作為にサンプリングし、信頼係数(1-α)の信頼区間を計算するということを何度も繰り返した時、それらの信頼区間内にμを含むものの割合は(1-α)である」
平ったくいうと
「μを含む信頼区間を得る確率は(1-α)である」
母平均値μは定数であり、確率的に変動するのは実は信頼区間の方です。 そしてμが含まれる信頼区間を得る確率が(1-α)なのです。 そこで普通の意味の確率ではないことを表すために、信頼確率ではなく信頼係数または信頼度という用語をわざわざ使っているのです。
← 「不偏分散Vに(n-1)/σ2を掛けた値であるχ2が自由度(n-1)のχ2分布に従う」という意味
χ2分布の確率密度関数f(χ2)は自由度をφとすると次のようになります。 (→付録1 各種の確率分布)
この性質を利用して母分散σ2の信頼区間を求めることができます。 そしてその平方根が母標準偏差σの信頼区間になります。
上限：
上限：
(確率収束)
n例のデータから求めた推定量Tnがnを無限に大きくすると母数θに一致する時、「Tnはθに確率収束する」といい、この性質を一致性(consistency)といいます。 nを無限に大きくすれば、事実上、母集団全体を観測したことになるので、Tnはθに一致しなければ推定量の意味がありません。 そのため一致性は推定量として必須の性質です。
推定量Tを求める方法は色々あり、積率法(モーメント法、method of moment)と最尤法(ML法、maximum likelihood method)がよく用いられます。 例えば積率法による母平均値μと母分散σ2の推定量は次のようになります。 ちなみに回帰分析で利用される最小2乗法(LS法、Least Squares method)は積率法の一種であり、定数項だけの回帰式の解は標本平均値になります。 (→2.3 パラメトリック手法とノンパラメトリック手法 (注2)、7.1 重回帰モデル (注1))
… 標本平均
… 標本分散
最尤法は尤度が最も高い母数を推定する方法であり、フィッシャーが開発しました。 そしてデータが正規分布する時、最尤推定量(maximum likelihood estimator)は最小2乗推定量(least squares estimator)と一致します。 例えばデータが正規分布する時、μとσ2の最尤推定量は次のように最小2乗推定量と一致します。 なお最尤法の詳しい説明は9.3節の(注1)を参照してください。 (→9.3 1変量の場合 (注1))
… (1)
… (2)
… 標本平均値
… 標本分散
μについては最小2乗推定量も最尤推定量も標本平均値になり、これは不偏推定量であると同時に一致推定量でもあります。 しかしσ2については最小2乗推定量も最尤推定量も標本分散になり、これは一致推定量ではあるものの不偏推定量ではありません。
第3節の(注6)で説明したように、σ2の不偏推定量は平方和を自由度(n-1)で割った不偏分散になります。 不偏分散の一致性は標本分散よりも少し悪いものの、近似的に一致推定量になる上に回帰分析における残差分散との整合性もあります。 そのため一致性よりも不偏性と回帰分析における残差分散との整合性を優先して、σ2の推定量は不偏分散を用いるのが普通です。
また不偏分散の平方根はσの不偏推定量にはならず、一致性も良くありません。 しかし「標準偏差＝分散の平方根」という関係を重視して、σの推定量は不偏分散の平方根を用いるのが普通です。 (→1.3 データの要約方法 (注6)、6.2 データの要約と多変量解析 (注2))
一般に、母数ベクトルθに関する対数尤度関数L(θ)は最大値を持ち、その時のθが最尤推定量になります。 しかしL(θ)の偏微分方程式を解析的に解くのは困難なことが多いので、通常はニュートン(Newton)法などを利用して近似解を求めます。 ニュートン法はL(θ)の最大値付近を放物線つまり2次曲線で近似し、最大値になる時のθを近似的に求める手法です。 そしてニュートン法で用いる2次偏微分係数行列Ｈ(ヘスの行列)は、L(θ)の最大値付近の曲率を表す計量行列です。 この曲率が大きいほど推定量の変動幅が小さくなるため、これは推定量の確実性を表す指標になります。 (→10.3 ロジスティック回帰分析の計算方法 (注2))
ただしL(θ)は上に凸の曲線なので、この曲率は負の値になります。 そこでこの曲率の符号を反転させた値の期待値を求めると、それは推定量の確実性を表す指標つまりデータx1,…,xnが持つ情報量の多さを表す指標になります。 これをフィッシャーの情報量(Fisher's information)と呼び、Ｈの符号を反転させた行列の期待値E(-Ｈ)をＩfと書いてフィッシャーの情報行列(Fisher's information matix)と呼んでいます。 そして最尤推定量には漸近的正規性があり、その分散がフィッシャーの情報量の逆数になることをフィッシャーが証明しました。
その後、不偏推定量の分散の理論的な最小値がフィッシャーの情報行列の逆行列の対角要素[Ｉf]jj-1になることを、クラメール(Harald Cramer)とラオ(C.R.Rao)が証明しました。 そのため[Ｉf]jj-1はクラメール−ラオの下限(Cramer-Rao's lower bound)と呼ばれています。
分散がクラメール−ラオの下限に一致する不偏推定量のことを有効推定量(efficent estimator)といい、これは当然、最小分散不偏推定量になります。 そしてデータが正規分布する時、最尤推定量も積率推定量もほとんどは有効推定量になります。 ただし最尤推定量であり積率推定量でもある標本分散は有効推定量にならず、不偏分散が有効推定量になります。
データが正規分布しない時、最尤推定量は漸近的有効推定量(asymptotically efficent estimator)――例数が増えるほど有効推定量に近づく推定量――になりますが、積率推定量は漸近的有効推定量になるとは限りません。 そのため統計学の解説書などには「データが正規分布しない時は最尤推定量を用いるべきだ！」とよく書かれています。
しかし最尤推定量はたいてい解析的に解けないので、ニュートン法などを利用して近似的に求めます。 そしてニュートン法は初期値と収束条件によって収束する値が異なるので計算条件によって近似解が異なり、しかもそれが真値にどの程度近似しているかは不明です。 そのためそれを悪用すれば近似解の値を恣意的に操作することも不可能ではありません。
実際、最尤推定量は統計ソフトによっても、計算した人によっても値が微妙に異なります。 そのため理論的には分散が最小になるはずが、実際に求められた値にはバラツキがあります。 それに対して積率推定量は解析的に解けるので誰が計算しても同じ値になり、バラツキはありません。 これらのことを考慮すると「データが正規分布しない時は最尤推定量を用いるべきだ！」という主張を鵜呑みにせず、科学的に最も意義のある推定量を選択するのが実際的です。
第5節へ
webmaster@snap-tck.com
Copyleft (C) 2000 SNAP(Sugimoto Norio Art Production)