玄関雑学の部屋雑学コーナー統計学入門

付録6 ベイズ統計学

1.ベイズの定理

この「統計学入門」で解説した統計学は、現在、最も広く用いられているネイマン・ピアソン流統計学を中心にしています。 統計学にはこれ以外にも色々な流派があります。 その流派のひとつであるベイズ統計学(ベイジアン統計学、Bayesian Statistics)について簡単に紹介しましょう。 ベイズ統計学はベイズの定理(Bayes's theorem)に基づいた統計学ですから、まずはベイズの定理について説明しましょう。

ベイズの定理は18世紀の牧師兼数学者であるベイズ(Thomas Bayes)によって発見され、近代確率論の創始者であるラプラス(Simon de Laplace)によって確立された、逆確率つまり原因の確率に関する定理です。 確率の乗法定理から、ある事象E1(例えば病気)が起こる確率と、別の事象E2(例えば発熱)が起こる確率、そしてそれらが同時に起こる確率について次の関係が成り立ちます。

P(E1):E1が起こる確率   P(E2):E2が起こる確率   P(E1 ∩ E2):E1とE2が同時に起こる確率
P(¬E1):E1が起きない確率   P(¬E2):E2が起きない確率   P(¬E1 ∩ ¬E2):E1とE2がどちらも起きない確率
P(E1|E2):E2が起きたという条件下でE1が起こる条件付き確率  P(E2|E1):E1が起きたという条件下でE2が起こる条件付き確率
P(E1 ∩ E2)=P(E1)P(E2|E1)=P(E2)P(E1|E2)

この関係からP(E1|E2)について次のような式が成り立ちます。 これがベイズの定理です。 ベイズの定理の特徴は、この関係がE1とE2の因果関係や時間的な前後関係とは無関係に成り立つことです。

図 付録6.1 2つの事象のベン図

例えばE1が病気でP(E1)=0.2とし、E2が発熱でP(E2)=0.4とし、病気が原因で発熱する確率がP(E2|E1)=0.8とすると、この状態を図6.1のように表すことができます。 そしてベイズの定理から、発熱E2が起きた時にその原因が病気E1である確率はP(E1|E2)=0.16/0.4=0.4であることがわかります。

このようにベイズの定理を利用すると、発熱した後でその原因が病気である確率を計算することができます。 つまり過去に起こった事柄に基いてこれから起こることの確率を計算する、つまり結果の確率を計算するのではなく、現在起きている事柄に基づいて過去に起きたであろうことの確率を計算する、つまり原因の確率(逆確率)を計算することができるのです。

また病気E1が起こる一般的な確率P(E1)を事前確率(prior probability)とし、発熱が起こった後でその原因が病気である確率つまり病気にかかっている確率P(E1|E2)を事後確率(posterio probability)とすると、病気が原因で発熱する確率P(E2|E1)は発熱の原因が病気である尤度(もっともらしさ、likelihood)に相当します。 したがってベイズの定理の分子P(E1)P(E2|E1)は「事前確率×尤度」を表します。

一方、分母P(E2)はE2(発熱)が起きる確率を表し、これはは分子の値を0〜1の間にするための規格化因子です。 これらのことからベイズの定理の本質的な部分は分子であり、「事後確率=事前確率×尤度(情報)」という関係を表していることがわかります。 (→9.3 1変量の場合 (1) 尤度と最尤法)

例えば病気と発熱の例では、発熱という情報がなければ「病気である確率は0.2」という一般論的なことしか言えません。 ところが発熱したという情報と発熱に関する病気の尤度を知ることによって、「病気である確率は0.4」と少し確実なことが言えるわけです。 次節で説明するように、この理論は実際に病気の診断に応用されています。

2.ベイズ流仮説検定

第9章の図9.2.1において、疾患群がE1で、診断項目の値が境界値以上になるつまり陽性になることをE2とすると、この図と図 付録6.1は次のような対応関係があります。 そしてベイズの定理から、陽性予測値――検査結果が陽性の時に本当に疾患である確率――を求めることができます。 さらに陰性予測値も、同様にベイズの定理から求めることができます。 (→9.2 群の判別と診断率)

図9.2.1 診断率の模式図
P(E1)=πD…疾患の事前確率   P(¬E1)=1 - πD…正常の事前確率   nD…疾患の例数  nN…正常の例数
…感度(真陽性率)   …特異度(真陰性率)
…偽陽性率
P(E1 ∩ E2)=P(E1)P(E2|E1)=πDSN   P(¬E1 ∩ E2)=P(¬E1)P(E2|¬E1)=(1-πD)(1-SP)
P(E2)=P(E1 ∩ E2) + P(¬E1 ∩ E2)=πDSN + (1-πD)(1-SP)…陽性率
…陽性予測値(陽性的中率)
…陽性尤度比=ベイズ因子

また図9.2.1の正常群の分布を帰無仮説が正しい時の標本平均値の分布とみなし、疾患群の分布を対立仮説が正しい時の標本平均値の分布とみなすと、これは第1章の図1.6.3の統計的仮説検定の模式図(片側検定)に相当します。 そして境界値を棄却域の上限mUとみなすと、偽陽性率(1-SP)がαエラーに相当し、偽陰性率(1-SN)がβエラーに相当します。

図1.6.3 統計的仮説検定の模式図(片側検定)

ベイズ統計学における仮説検定は、通常の統計的仮説検定と違って棄却域を設定しません。 その代わり帰無仮説が正しい事前確率と標本平均値の確率分布、そして対立仮説が正しい事前確率――図9.2.1における疾患の事前確率πD――と標本平均値の確率分布を何らかの方法で設定します。 そしてデータから得られた標本平均値を図1.6.3のmUとみなし、ベイズの定理を利用して、事前確率とαとβから対立仮説が正しい事後確率――図9.2.1における陽性予測値――を求めます。

しかし対立仮説が正しい事前確率が明確にわかっていれば、わざわざ検定をする必要はありません。 そのため対立仮説が正しい事前確率は漠然としているのが普通であり、その結果として対立仮説が正しい事後確率も漠然としたものになってしまいます。 そこで事前確率とは無関係に求められる(1-β)/αをベイズ因子(Bayes factor)と呼び、対立仮説の信頼性の指標にします。 ベイズ因子は、通常の統計的仮説検定における実際の検出力と有意確率の比に相当する値です。 そのためこの値を指標にして検定結果を吟味することは、有意確率と検出力分析の結果を指標にして検定結果を吟味することに対応します。

実際のベイズ流仮説検定では対立仮説の信頼性の指標であるベイズ因子をBF10と表記し、帰無仮説の信頼性の指標であるベイズ因子をBF01と表記します。 そしてBF10は陽性尤度比SN/(1-SP)=(1-β)/αに相当し、BF01は陰性尤度比(1-SN)/SP=β/(1-α)に相当します。 これらのベイズ因子については、次のような基準値が提唱されています。

表 付録6.1 ベイズ因子の基準値
ベイズ因子証拠の強さ
帰無仮説を支持することに反対する証拠がほとんどない
帰無仮説を支持することに反対する証拠があまりない
帰無仮説を支持することに反対する証拠が十分にある
帰無仮説を支持することに反対する強い証拠がある
帰無仮説を支持することに反対する決定的証拠がある
1<BF10≦3.2対立仮説を支持する証拠がほとんどない
3.2<BF10≦10対立仮説を支持する証拠があまりない
10<BF10≦32対立仮説を支持する証拠が十分にある
32<BF10≦100対立仮説を支持する強い証拠がある
100<BF10対立仮説を支持する決定的証拠がある

3.ベイズ流推定

ベイズ統計学はベイズの定理に基づく「事前確率×尤度(情報)=事後確率」という考え方と、確率を主観的なものと解釈する考え方を中心にして統計学を再構築したものです。 従来の統計学では確率を頻度的なものと解釈します。 それに対してベイズ統計学では確率を主観的なものと解釈します。 例えばコインを投げて表が出る確率は、従来の頻度的確率でもベイズ確率でも0.5にします。 しかし「100万年前に火星に生命が存在した確率」は頻度的確率では定義できないのに対して、ベイズ確率では例えば0.001と定義します。

つまり頻度的確率はランダム性に基づいて「不確かさ」を定量化するのに対して、ベイズ確率は情報不足に基づいて「不確かさ」を定量化するのです。 そうしないと「原因の確率」つまり「すでに起きてしまったことの確率(すでに起きてしまったことだから確率は0か1、または確率そのものを定義することができないんじゃないの…!?)」を合理的に解釈することはできません。

ベイズ統計学では、ベイズの定理に基づいた次のような式を用いて理論を組み立てます。


p(θ):母数θに関する確率関数=事前分布(prior distribution) … ベイズの定理におけるP(E1)に相当
p(x|θ):母数がθである時にデータxが観測される条件付き確率関数 … ベイズの定理におけるP(E2|E1)に相当
p(θ|x):データxが観測された時に母数がθである条件付き確率関数=事後分布(posterio distribution) … ベイズの定理におけるP(E1|E2)に相当
∫p(θ)p(x|θ)dθ:母数θが全領域について変化した時にデータxが観測される累積確率 … ベイズの定理におけるP(E2)に相当

事前分布はどんなものでもかまいませんが、例えば正規分布N(μ002)とすると、上記の式から次のような関係を導くことができます。 これは平方完成(completion of the square)と呼ばれる展開であり、ベイズ推定(Bayesian inference)における点推定になります。

  
μ0:事前分布における母平均値(事前情報)   σ02:事前分布における母分散(事前情報)
μ1:事後分布における母平均値   σ12:事後分布における母分散
n:観測データの例数  mx:観測データから求めた標本平均値(母平均値推測値)   V:観測データから求めた不偏分散(母分散推測値)

この式からμ1はμ0とmxの信頼性(誤差の逆数)で重み付けした加重平均になることと、μ1の誤差は情報が増えた分だけ少なくなることがわかります。 事前情報μ0がない時はσ02=∞として、次のようにネイマン・ピアソン流統計学の結果と一致します。

  

また事前情報μ0が絶対的な時はσ02=0として、次のようにどんなmxが得られてもμ10になります。

  

ベイズ推定による母数の点推定量は事後分布の母数そのものですから、事後分布を利用して区間推定を行うことができます。 例えば上記のμ1が95%含まれる範囲は、事後分布N(μ112)を利用して比較的簡単に求めることができます。 これをベイズ信用区間(Bayes credible interval)またはベイズ確信区間といいます。 ネイマン・ピアソン流の95%信頼区間は「95%信頼区間を100回得たら、そのうち95回は信頼区間の間に母数が入っている」と、少々ややこしい解釈をしなければないないシロモノです。 それに対して95%ベイズ信用区間は「母数が95%の確率で含まれている区間」と素直に解釈できます。

ただしベイズ信用区間は母数の事前情報に依存しています。 そのため事前情報が正確ならベイズ信用区間も正確ですが、事前情報が曖昧ならベイズ信用区間も曖昧になってしまいます。 そして事前情報がない時は、ベイズ信用区間はネイマン・ピアソン流の信頼区間と一致します。 医学研究では事前情報が曖昧だからこそ試験を行ったり、事前情報を用いて組み立てた作業仮説を検証するために試験を行ったりするのが普通です。 そのため現実的には、従来の統計学の結果とベイズ統計学の結果はたいてい一致します。

4.3囚人問題とモンティ・ホール問題

一般的な確率つまり結果の確率と原因の確率の違いを端的に表す問題として、3囚人問題(Three Prisoners problem)またはモンティ・ホール問題(Monty Hall problem)が有名です。

(1) 3囚人問題

ある監獄に3人の死刑囚A、B、Cがいて、それぞれ独房に入れられていた。 彼等は近々処刑される予定だったが、国にめでたいことが起きて、彼等の中から無作為に選ばれた1人が恩赦されることになった。 彼等は看守に「俺は助かるのか?」と質問したが、看守は「極秘事項なので言えない」と答えた。 そこで囚人Aは一計を案じ、

「俺以外の2人のうち、少なくともどちらか一方は死刑になるはずだ。 そいつの名前を教えてくれ。 助かるやつの名前を教えろと頼んでいるんじゃないし、俺のことじゃないんだから、教えてくれてもいいだろう?」

その質問をもっともだと思った看守は、「囚人Bは死刑になる」と答えた。 それを聞いた囚人Aは、「これで俺が助かる確率が1/3から1/2に上がった!」と密かに喜んだ。

囚人Aの思惑通り、彼が助かる確率は1/2に上がったのだろうか? また囚人Aと囚人Cが助かる確率はそれぞれいくつか?

(2) モンティ・ホール問題

あるクイズ番組で、3つの扉A、B、Cの中から無作為に選ばれた1つの扉の後ろに景品が隠されていて、挑戦者が1つの扉を選び、当たりなら景品をもらえるという問題があった。 挑戦者が扉Aを選んだ後で、その番組のホスト(モンティ・ホール)は、

「選ばれなかった2つの扉のうち、少なくともどちらか一方は外れです。 ここで特別サービスとして、外れの扉をひとつ開けます」

と言って、扉Bを開けた。

「ご覧のように、扉Bは外れです。 さて、ここで挑戦者に扉を選び直すチャンスを与えましょう。 扉を変えますか、それともそのままにしますか?」

挑戦者が景品を獲得する確率は扉を変えた方が上がるのか、それとも変えない方が上がるのか? また扉Aと扉Cを選んだ時、景品を獲得する確率はそれぞれいくつか?

少し考えれば、これら2種類の問題はどちらもAとCの原因の確率(逆確率)を求める問題に帰着し、本質的に同じものであることがわかると思います。

3人の囚人のうち恩赦を受ける囚人が選ばれる前、または3つの扉の後ろに景品を隠す前の段階では、「恩赦を受ける」または「景品が隠される」確率つまり結果の確率はどれも1/3です。 そして恩赦を受ける囚人が決まった後、または扉の後ろに景品を隠した後の段階では、結果の確率は選ばれたものは1になり、選ばれなかったものは0になります。 したがって2種類の問題の通常の確率つまり結果の確率に関する解答は、どちらもAとCの確率は0または1という身も蓋もないものになります。

しかし2種類の問題の本質は、AとCの原因の確率を求めることです。 そこで3囚人問題について、囚人Aと囚人Cが恩赦になる原因の確率をベイズの定理を利用して求めてみましょう。 この場合、起こり得る事象と、それが起こる確率は次のようになります。

P(A)=1/3:囚人Aが恩赦になる確率   P(B)=1/3:囚人Bが恩赦になる確率   P(C)=1/3:囚人Cが恩赦になる確率
P(b|A)=0〜1:囚人Aが恩赦になるという条件下で、看守が「囚人Bは死刑になる」と答える条件付き確率
P(c|A)=1〜0:囚人Aが恩赦になるという条件下で、看守が「囚人Cは死刑になる」と答える条件付き確率
P(b ∪ c|A)=1:囚人Aが恩赦になるという条件下で、看守が「囚人Bは死刑になる」または「囚人Cは死刑になる」と答える条件付き確率
P(A ∩ b)=P(A)P(b|A)=0〜1/3:囚人Aが恩赦になり、かつ看守が「囚人Bは死刑になる」と答える確率
P(A ∩ c)=P(A)P(c|A)=1/3〜0:囚人Aが恩赦になり、かつ看守が「囚人Cは死刑になる」と答える確率
P(A ∩ (b ∪ c))=1/3:囚人Aが恩赦になり、かつ看守が「囚人Bは死刑になる」または「囚人Cは死刑になる」と答える確率
P(c|B)=1:囚人Bが恩赦になるという条件下で、看守が「囚人Cは死刑になる」と答える条件付き確率
P(b|C)=1:囚人Cが恩赦になるという条件下で、看守が「囚人Bは死刑になる」と答える条件付き確率
P(B ∩ c)=P(B)P(c|B)=1/3:囚人Bが恩赦になり、かつ看守が「囚人Cは死刑になる」と答える確率
P(C ∩ b)=P(C)P(b|C)=1/3:囚人Cが恩赦になり、かつ看守が「囚人Bは死刑になる」と答える確率
P(b)=P(A)P(b|A) + P(C)P(b|C)=0〜1/3 + 1/3:看守が「囚人Bは死刑になる」と答える確率
:看守が「囚人Bは死刑になる」と答えた時、囚人Aが恩赦になる確率
図 付録6.2 3囚人の模式図

この時、囚人Aが恩赦になるという条件下で看守が「囚人Bは死刑になる」と答える条件付き確率P(b|A)と、囚人Aが恩赦になるという条件下で看守が「囚人Cは死刑になる」と答える条件付き確率P(c|A)は、問題文では与えられていない点に注意してください。 P(b|A)は、看守が「囚人Bは死刑になる」と答えた時に、囚人Aが助かる確率P(A|b)をベイズの定理を利用して求めるのに必要な値であり、この値が与えられていないとP(A|b)は求められません。

ただしP(b|A)+P(c|A)=1、つまり囚人Aが恩赦になるという条件下では、看守は「囚人Bは死刑になる」または「囚人Cは死刑になる」と答える条件付き確率は1であり、P(b|A)とP(c|A)は一方が増えれば他方が減るという関係にあります。 このような場合、ベイズ統計学ではとりあえずP(b|A)=P(c|A)=1/2、つまり看守が「囚人Bは死刑になる」と答える確率と「囚人Cは死刑になる」と答える確率は同じと仮定します。 これを最大エントロピー原理といい、まずは自然な仮定でしょう。 この仮定をするとP(A)P(b|A)=1/6、P(b)=1/2になり、P(A|b)=1/3、P(C|b)=2/3つまり囚人Aが助かる確率は1/3のままであり、囚人Cが助かる確率は2/3に上るという解答になります。

またP(b|A)=1、つまり看守は必ず「囚人Bは死刑になる」と答える仮定も可能です。 例えば囚人AとBは仲間であり、囚人BとCがどちらも死刑になるのなら、看守は囚人Aに囚人Bのことを教えてあげようとしたとか、単に独房の番号が小さい方の囚人のことを教えた……などという場合です。 この仮定をするとP(A)P(b|A)=1/3、P(b)=2/3になり、P(A|b)=1/2、P(C|b)=1/2つまり囚人Aが助かる確率も囚人Cが助かる確率も1/2に上るという、囚人Aが思った通りの解答になります。

さらにP(b|A)=0、つまり看守は必ず「囚人Cは死刑になる」と答える仮定も可能です。 この仮定をするとP(A)P(b|A)=0、P(b)=1/3になり、P(A|b)=0、P(C|b)=1つまり囚人Aが助かる確率は0で、囚人Cが助かる確率は1になります。 以上のことから、この問題の回答は囚人Aが助かる確率は厳密には0〜1/2だが、とりあえず最も妥当な値は1/3と考え、囚人Cが助かる確率は(1-囚人Aが助かる確率)として求めるという、少々ややこしいものになります。

原因の確率がこのように変動する理由は、図付 録6.2の模式図を見れば何となくわかると思います。 原因の確率は、事象が起こった後で、色々な情報に基づいて起こった可能性のある事象を限定して求めます。 この問題の場合、起こり得る事象は模式図の(1)から(4)までの4種類あります。 そして看守の「囚人Bは死刑になる」という情報から、起こった可能性のある事象は(1)と(4)だけに限定できます。

この状態で(1)が起きる結果の確率と(4)が起きる結果の確率がわかれば、原因の全確率1をそれらの確率で比例配分して、それぞれの事象の原因の確率を計算することができます。 これがベイズの定理を利用した原因の確率の計算原理です。

しかしこの場合、(4)が起きる結果の確率は1/3と確定していますが、(1)が起きる結果の確率は不明であり、理論的には0〜1/3の間になります。 もし(1)が起きる結果の確率が最小値の0なら、(1)の原因の確率は0、(4)の原因の確率は1になります。 もし(1)が起きる結果の確率が中間の1/6なら、(4)が起きる結果の確率の半分になり、(1)の原因の確率は1/3、(4)の原因の確率は2/3になります。 もし(1)が起きる結果の確率が最大値の1/3なら、(4)が起きる結果の確率と同じ値になり、(1)と(4)の原因の確率はどちらも1/2になります。 これらのことから囚人Aが助かる確率は最大でも囚人Cが助かる確率と同じであり、普通はそれよりも小さくなることがわかります。

モンティ・ホール問題ではそれをキーポイントにし、選ぶ扉を変えると景品を獲得する確率が上がるかどうかを問題にしています。 この問題の確率も、扉Aが当たりの時にホストが扉BまたはCのどちらを開けることにしていたのか不明なので厳密には計算できません。 もしホストが2つの扉のひとつを無作為に開けることにしていたとしたら扉Aが当たりの確率は1/3であり、アルファベットの前の方を開けることにしていたとしたら扉Aが当たりの確率は1/2であり、アルファベットの後の方を開けることにしていたとしたら扉Aが当たりの確率は0になります。

いずれにせよ扉Aが当たりの確率は最大でも扉Cが当たりの確率と同じであり、普通はそれよりも小さくなります。 したがってこの問題の解答は扉を変えた方が良いということになります。 そして扉を変えない時に景品を獲得する確率として最も可能性が高いのは1/3だが、0も1/2も間違いではないということになります。

囚人Aが「これで俺が助かる確率が1/3から1/2に上がった!」と思ってしまった原因は、看守から「囚人Bは死刑になる」と聞いた時点で、「3人に1人が恩赦になる」という状況が「2人に1人が恩赦になる」という状況に変わったと単純に思ってしまったところにあります。 あるいはもう少し考えて、看守が「囚人Bは死刑になる」と答えた時に有り得る事象は図 付録6.2の(1)と(4)だけであり、それらの事象が起きる確率は等しいと単純に思ってしまったからかもしれません。

この1/2という確率は決して間違いではないものの、この値を導き出した考え方は間違っています。 このあたりが結果の確率と原因の確率の大きな違いであり、3囚人問題またはモンティ・ホール問題の面白いところです。

5.ベイズ統計学とネイマン・ピアソン流統計学

このようにベイズ統計学は事前情報とデータから得られた情報を組み合わせて、事前情報をより確実性の高いものに更新していきます。 これは我々が日常的に行っている経験的思考法と同じため、ネイマン・ピアソン流統計学よりもむしろ馴染みやすいと思います。 しかし事前情報とその確実性を恣意的に決めることができるので、どうしても主観的になりがちです。 そのため客観的な情報が少なく(つまり頻度的な確率を求めにくい)、個人の経験やカンに基づいた情報に頼りがちな分野、例えば経済学分野などに適していると思います。

それに対して医学や薬学などの自然科学分野では、事前情報をそのまま信用せず、それに基づいて仮説を組み立て、客観的なデータによってその仮説の真偽を検証して理論を構築するのが主流です。 そして仮説を客観的なデータに基づいて検証するための数学的ツールのひとつとして統計学を用います。 これは自然科学で用いられる仮説演繹法の手順に従ったものであり、近代科学の基本的な思考法である批判的思考法(critical thinking)に基づいています。 そして必要に応じて実験や試験を何度も繰り返すことができるので(つまり頻度的な確率を求めやすい)、ネイマン・ピアソン流統計学の方が適していると思います。

いずれにせよネイマン・ピアソン流統計学もベイズ統計学も一長一短があり、万能ではありません。 そのためそれらの特徴をよく理解して、目的に応じて適切に使い分けることが大切です。