菊地進「ベイズ推定」『統計学(社会科学としての統計学・第3集)』第69・70合併号,1996年3月
本稿は,経済統計学会の機関誌『統計学』創刊40周年を記念した論文集のなかに設定された章「統計解析の基礎」のなかの節「ベイズ推定」分野の研究サーベイである(他の節は,「時系列解析」「回帰診断」)。この論文集は,学会会員による過去10年間ほどの論文のサーベイが編集の狙いであるが,「ベイズ推定」分野での会員による業績は少なく,いきおい本稿の内容は,会員の研究成果の要約ではなく,ベイズ推定とその応用に対する筆者の見解が綴られる形になっている。著者の専門は計量経済学批判であるので,その視点からみたベイズ推定分野の現状の整理ということになる。
内容の要約に入る。ベイズ統計学は,ネイマン・ピアソンの標本理論に対峙する形で数理統計学の内部に形成された統計学である。前者ではデータが繰り返しの実験で得られることを前提に,推定の良否が問題とされるのに対し,後者では1回限りの実験データにもとづく推定をいかに行うかが問われる(管理実験が不可能な分野への摘要)。また,ベイズ統計学は主観確率に依拠するので,当初は意思決定主体の主観的判断を重視する決定理論にその適用が普及したが,今日では経済学・経営学(ゲームの理論,期待効用理論,マネジメント,マーケティング,エコノメトリックス),心理学,法学等,管理実験が不可能な多くの分野に及ぶ。
構成は以下のとおり。(1)方法の基礎[1.確信の度合い,2.主観確率の客観化,3.方法の一般性],(2)エコノメトリックスへの展開[1.認定問題,2.ゼロ制約の仮定,3.パラメータの変化,4.ABICと時系列解析]。
ベイズ統計学の淵源は,トーマス・ベイズ(1703-61)の論文,An Essay towards solving a Problem in the Doctrine of Chances(1763年に発見された)である。ベイズはこの論文で,主観的判断を基礎とする確率とそれを取り扱う逆確率(原因の確率)の推測を問題とした。この問題はその後,F.P.ラムゼイ,B.デフニッチ,L.J.サヴェージなどの主観確率論へと展開され,推測過程の一般化としてのベイズ統計学に結実する。しかし,主観確率の定義や解釈には個々に幅があるが,その原理は「合理的個人の確信の度合いを事前分布p(θ)として定式化し,規模の観察xを経て逆確率の原理(ベイズの定理)により事後分布p(θ/x)を導き,一定の損実関数を最小化することによってθを切りだすのである。その際,事後分布は,通常,事前分布と尤度関数の積に比例するものとして表わされる」(p.182)。ベイズ推定では主観的判断を基礎とする確率を取り扱いながら,その発展の経過において何らかの客観性を付与しようとした。尤度原理の強調は,ひとつの象徴である。尤度原理とは,未知のパラメータに関わる2組の観察データが同一であれば,そこから導出される事後分布も同一であるというもので,これを満たすことが標本理論に対するベイズ推定の優位性と喧伝された。
しかし,尤度原理の重視は,未知パラメータをある客観的に存在する定数として扱うことになる。こうした想定で,実際の場面での推論の一貫性が図られたわけである。しかし,この想定は尤度が同一であれば未知パラメータに対する事前分布がデータの構造に関わりなく同一であることになり,確信の度合いとして事前分布を構成するベイズ推定本来の論理に抵触する。そこで登場したのが,事前分布の客観性に囚われない「情報抽出の試み」という角度からベイズ推定を考える赤池ABIC(赤池ベイズ型情報量基準)である。
ベイズ推定の特徴は,事前の知識を盛り込んで統計的推定を進める点である。その限りでは,「理論に基づく計測」を標榜するエコノメトリックの性質に通じるところがある。しかし,事前分布を特定化できないことは,現実には,頻繁に起こる。その対策として生まれたのは,ベイズ=ラプラスの不十分理由の原理である。一定の仮説を確信すべき理由がない場合に事前分布に一様分布を施すのがこれであるが,このケースは実際面において,標本理論との接点が認められる。すなわち事前分布に一様分布を付与する場合に導かれる推定結果は,ベイズ推定も標本理論も同様であることが多くなる。そうなると確率の解釈を別とすると,ベイズ推定は標本理論を一つの特殊な形態として包含する一般的な方法であるとする見解も出てくる。
エコノメトリックス分野でのベイズ推定の展開は,同時方程式モデルの登場との関わりが強い(標本理論の適用は,1940年代半ばのT.ホーヴェルモによる同時方程式モデルの提唱を契機とする)。同時方程式モデルの計測をベイズ推定にもとづいて定式化する試みは,1960年代半ば頃から始まった。
周知のように,同時方程式モデルでは理論式の認定問題は構造パラメータの個数と誘導型パラメータのそれとの関係として形式的に捉えられる。当該方程式の認定は,それらが一定の条件を満たし,前者が一義的に確定されるならばクリアされるが,この場合,認定条件を満たすモデルの作成は変数の組み合わせ,関数型,誤差項などについて,事前の確信を前提とする。したがって,推定されるパラメータは,推定主体による主観的定数としての性格をもつ。ベイズ推定が同時方程式モデルに適合的である所以である。
このことを指摘した後に筆者は,計量モデルの史的展開を駆け足で跡づける。60-70年代にかけてのモデルの大型化(外生変数の内生化,方程式のディスアグリゲート)とその後の衰退80年代以降の回帰診断の盛隆,時系列モデル(多変数自己回帰モデル)への関心の増大,ベイズ推定にもとづくエコノメトリックスの再構築(A.ゼルナー)がそれである。80年代以降は,ベイズ推定の立場から,計量モデルをベイズモデルとして定式化することの重要性があらためて強調されたが,注意すべきは,そこでの事前の確信は多くの場合,推定するパラメータそのものに対する確信ではなく,尤度函数に組み込まれるモデルの枠組みに関するそれであり,その限りでベイズ推定の特徴が影を潜めていた。
この弱点を克服する試みが顕在化するのは,パラメータの変化を想定したモデルが計測されるようになってからである。パラメータの変化のモデル化は,エコノメトリックスで確率過程論が本格的に問題となってからである(時系列解析,時系列モデルの分野でのベイズ推定)。
筆者は最後にAIC(赤池情報基準)の利用におけるABIC(赤池ベイズ型情報基準)に触れ,それがベイズ方式を「情報抽出のための人工的仕組み」と捉える考え方に立脚することを指摘している。このような解釈をとることで,事前分布の主観性の問題視,事前分布への客観性の付与をめぐる混乱から回避しようとしたのであるが(このアプローチの客観性はその適用領域の広がり,適用回数の増加で実証されるとする),その試みは伝統的ベイズアプローチとは異なり,操作的ベイズとでも称すべきものである。
本稿は,経済統計学会の機関誌『統計学』創刊40周年を記念した論文集のなかに設定された章「統計解析の基礎」のなかの節「ベイズ推定」分野の研究サーベイである(他の節は,「時系列解析」「回帰診断」)。この論文集は,学会会員による過去10年間ほどの論文のサーベイが編集の狙いであるが,「ベイズ推定」分野での会員による業績は少なく,いきおい本稿の内容は,会員の研究成果の要約ではなく,ベイズ推定とその応用に対する筆者の見解が綴られる形になっている。著者の専門は計量経済学批判であるので,その視点からみたベイズ推定分野の現状の整理ということになる。
内容の要約に入る。ベイズ統計学は,ネイマン・ピアソンの標本理論に対峙する形で数理統計学の内部に形成された統計学である。前者ではデータが繰り返しの実験で得られることを前提に,推定の良否が問題とされるのに対し,後者では1回限りの実験データにもとづく推定をいかに行うかが問われる(管理実験が不可能な分野への摘要)。また,ベイズ統計学は主観確率に依拠するので,当初は意思決定主体の主観的判断を重視する決定理論にその適用が普及したが,今日では経済学・経営学(ゲームの理論,期待効用理論,マネジメント,マーケティング,エコノメトリックス),心理学,法学等,管理実験が不可能な多くの分野に及ぶ。
構成は以下のとおり。(1)方法の基礎[1.確信の度合い,2.主観確率の客観化,3.方法の一般性],(2)エコノメトリックスへの展開[1.認定問題,2.ゼロ制約の仮定,3.パラメータの変化,4.ABICと時系列解析]。
ベイズ統計学の淵源は,トーマス・ベイズ(1703-61)の論文,An Essay towards solving a Problem in the Doctrine of Chances(1763年に発見された)である。ベイズはこの論文で,主観的判断を基礎とする確率とそれを取り扱う逆確率(原因の確率)の推測を問題とした。この問題はその後,F.P.ラムゼイ,B.デフニッチ,L.J.サヴェージなどの主観確率論へと展開され,推測過程の一般化としてのベイズ統計学に結実する。しかし,主観確率の定義や解釈には個々に幅があるが,その原理は「合理的個人の確信の度合いを事前分布p(θ)として定式化し,規模の観察xを経て逆確率の原理(ベイズの定理)により事後分布p(θ/x)を導き,一定の損実関数を最小化することによってθを切りだすのである。その際,事後分布は,通常,事前分布と尤度関数の積に比例するものとして表わされる」(p.182)。ベイズ推定では主観的判断を基礎とする確率を取り扱いながら,その発展の経過において何らかの客観性を付与しようとした。尤度原理の強調は,ひとつの象徴である。尤度原理とは,未知のパラメータに関わる2組の観察データが同一であれば,そこから導出される事後分布も同一であるというもので,これを満たすことが標本理論に対するベイズ推定の優位性と喧伝された。
しかし,尤度原理の重視は,未知パラメータをある客観的に存在する定数として扱うことになる。こうした想定で,実際の場面での推論の一貫性が図られたわけである。しかし,この想定は尤度が同一であれば未知パラメータに対する事前分布がデータの構造に関わりなく同一であることになり,確信の度合いとして事前分布を構成するベイズ推定本来の論理に抵触する。そこで登場したのが,事前分布の客観性に囚われない「情報抽出の試み」という角度からベイズ推定を考える赤池ABIC(赤池ベイズ型情報量基準)である。
ベイズ推定の特徴は,事前の知識を盛り込んで統計的推定を進める点である。その限りでは,「理論に基づく計測」を標榜するエコノメトリックの性質に通じるところがある。しかし,事前分布を特定化できないことは,現実には,頻繁に起こる。その対策として生まれたのは,ベイズ=ラプラスの不十分理由の原理である。一定の仮説を確信すべき理由がない場合に事前分布に一様分布を施すのがこれであるが,このケースは実際面において,標本理論との接点が認められる。すなわち事前分布に一様分布を付与する場合に導かれる推定結果は,ベイズ推定も標本理論も同様であることが多くなる。そうなると確率の解釈を別とすると,ベイズ推定は標本理論を一つの特殊な形態として包含する一般的な方法であるとする見解も出てくる。
エコノメトリックス分野でのベイズ推定の展開は,同時方程式モデルの登場との関わりが強い(標本理論の適用は,1940年代半ばのT.ホーヴェルモによる同時方程式モデルの提唱を契機とする)。同時方程式モデルの計測をベイズ推定にもとづいて定式化する試みは,1960年代半ば頃から始まった。
周知のように,同時方程式モデルでは理論式の認定問題は構造パラメータの個数と誘導型パラメータのそれとの関係として形式的に捉えられる。当該方程式の認定は,それらが一定の条件を満たし,前者が一義的に確定されるならばクリアされるが,この場合,認定条件を満たすモデルの作成は変数の組み合わせ,関数型,誤差項などについて,事前の確信を前提とする。したがって,推定されるパラメータは,推定主体による主観的定数としての性格をもつ。ベイズ推定が同時方程式モデルに適合的である所以である。
このことを指摘した後に筆者は,計量モデルの史的展開を駆け足で跡づける。60-70年代にかけてのモデルの大型化(外生変数の内生化,方程式のディスアグリゲート)とその後の衰退80年代以降の回帰診断の盛隆,時系列モデル(多変数自己回帰モデル)への関心の増大,ベイズ推定にもとづくエコノメトリックスの再構築(A.ゼルナー)がそれである。80年代以降は,ベイズ推定の立場から,計量モデルをベイズモデルとして定式化することの重要性があらためて強調されたが,注意すべきは,そこでの事前の確信は多くの場合,推定するパラメータそのものに対する確信ではなく,尤度函数に組み込まれるモデルの枠組みに関するそれであり,その限りでベイズ推定の特徴が影を潜めていた。
この弱点を克服する試みが顕在化するのは,パラメータの変化を想定したモデルが計測されるようになってからである。パラメータの変化のモデル化は,エコノメトリックスで確率過程論が本格的に問題となってからである(時系列解析,時系列モデルの分野でのベイズ推定)。
筆者は最後にAIC(赤池情報基準)の利用におけるABIC(赤池ベイズ型情報基準)に触れ,それがベイズ方式を「情報抽出のための人工的仕組み」と捉える考え方に立脚することを指摘している。このような解釈をとることで,事前分布の主観性の問題視,事前分布への客観性の付与をめぐる混乱から回避しようとしたのであるが(このアプローチの客観性はその適用領域の広がり,適用回数の増加で実証されるとする),その試みは伝統的ベイズアプローチとは異なり,操作的ベイズとでも称すべきものである。
※コメント投稿者のブログIDはブログ作成者のみに通知されます