何故､開票0%で当確となるの？〜出口調査と統計数学と当選確実の絶妙なカラクリ

　今年の夏には参議院議員総選挙がある。私にも出口調査のSMSが届いたが､正直､投票したいと思う政党がないし､私の意に合致する政党も存在しない。
　”小さい政治にする会”とか”農政を潰す党”とか”NHKを100%潰せる党”とか､ユニークな党があればとも思うが､昨年の衆議院選挙も投票して全くと思える程の無駄だったし､今年は投票には行かないと思う(多分)。
　因みに､日本経済新聞社とTV東京は27~29日に世論調査を実施。参院選(7月20日)の投票先をきいた所､自民党が29%(前回5月26%)とトップで､立憲と国民民主党は同率の12%(前回12%)参政党が7%(3%)､日本維新の会が6%(7%)。

　この数字をどう見るか？は人それぞれだが､今年6月の東京都議選の様に､出口調査では自民が23%で第一党だったが､蓋を開ければ､同調査では8%だった”都民1stの会”が31議席(前回も31議席)を獲得し､全体の24.4%を占め､第一党となった。因みに､自民党は21議席(前回33議席)と大きく減らし､以下､公明19(23)､立憲19(15)､共産14(19)と続いた。
　都民が第一党になった要因として､都民の会特別顧問を務める小池知事への評価と期待が挙げられてはいるが､単に裏金問題で失墜した自民党に投票したくなかっただけの事だろう。それに加え､自民党の少人数区での議席の落ち込みも敗北の要因にもなったとされる。
　但し､投票率は47.59%と都民の半数以上は背を向けた事になるが､議会民主制とは名ばかりな事を東京都の若者らは直感で見抜いてるのだろうか。

選挙と統計学的有意性

　それにしても未だに､迷信の如く議会制民主主義に依存し､何らかの希望を見出そうとする我ら島国の村民だが､選挙のあり方を根本的な所から変える必要がある。
　いくら選挙へ行こうと叫んでも､選挙そのものが民主主義に殆ど寄与しないのであれば､また国民の声が全く無視されるならば・・・もっと言えば､国民の声すら当てにならないのであれば､選挙による議会制度なんて廃止し､古代ギリシャの時代に既に民主政の限界を悟っていたプラトンが諭した如く､有能な独裁者を育て上げる事の方が効率的で安上がりではないだろうか。
　つまり､無能でバカを選挙で投票しても､国家も政治も国民も決まった様に腐るだけで､選挙そのものも腐ってしまう。現代の選挙制度とはそんな状況だろうが､逆を言えば､”この人は辞めて欲しい”とか､そんな選挙が理想なのかもしれない。

　そこで今日は､そんな下らない選挙において､当選確実を決定する仕組みを紹介したい。
　｢数学は偶然の上に・・その5｣で書いた様に､精度の誤差を僅か±2%と厳しく設定すれば､当選確定を決めるには投票の99.9%を調べる必要があるが､誤差を±5%にまでに緩めれば､たったの3.9%だけを調べればいい。
　これは95%前後の精度の高さを指すが､正しい結果からのズレが±5%内に収まる確率が90%になる事を”統計学的有意性”と呼ぶ所に､当選確実の奇妙なトリックがある。
　但し厳密には､有意性とは観察して得られたデータが偶然ではなく､何らかの効果や変化による必然によるものを示し､有意水準で言えば”結果が偶然によるものではない”と判断する基準値となる。また､有意水準は一般的には5%(0.05)で設定され､5%以下である場合､偶然による可能性が低いと判断し､統計的に有意と考えられる。
　つまり､有意水準を設定し､偶然の要素を出来るだけ排除し､統計の誤差によるリスクを減らす為の数学的手法と言える。

　話を元に戻すが､実際の選挙では3.9%ではなく､開票率0％の状況でも”当選確実”と報道される事が珍しくない。つまり､投票結果が殆ど判らないのに､なぜ当選確実と言い切れるのか？
　まず選挙速報では､統計学の”区間推定”という理論と”正規分布曲線”のグラフを使って当選者を予測する。簡単に言えば､”一部の結果から全体の結果を予測する公式”を用いて当選者を確定するのである。
　しかし､一部の結果から全体の結果を予測すると言っても､開票0％ではその一部の結果すらも判らないから当選確実は出せない筈だ。
　そこでメディアは”出口調査”なるものを行うのだが､この出口調査では投票所外でランダムに投票した人に声をかけ､投票先をヒアリングし､この調査結果を元に全体の投票結果を推定し､各社独自の当選速報を打つ。

　勘のいい人は､この時点で当選確実のカラクリに気付くだろうが､何となく腑に落ちない人の為に､腰を据えて説明する。
　以下､｢選挙速報が開票率0％でも当確を出せる納得の訳｣より抜粋して纏めます。

　まずは､簡単な例を挙げる。
　A候補とB候補の2人が出馬する選挙区の投票所で､あるTV局が出口調査を行ったが､1000人から回答を得て､550人がA氏に投票したとの結果を得た。この時､”A候補を当選確実”と判断してよいのだろうか？
　まず､A候補の得票率は550÷1000×100=55(％)で､50％を超えてる為､当選の可能性は高いが､これだけで当選確実とは言えない。別の出口調査ではAに投票した人が500人となってたり､過半数を下回る可能性も考えられるから､答えは”ノー”となる。

当確と出口調査の奇妙なカラクリ

　では､A候補が”当選確実だ”と打つには何が必要なのか？そこで､出口調査の結果からAの得票率がどれ程バラつく可能性があるのか？を考える必要がある。
　この時に利用するのが､先程述べた”正規分布曲線”のグラフと統計学の”区間推定”の理論だが､曲線のグラフは左右対称で山型の形をし､囲まれた部分の面積が確率(最大で100%=1)となる様な特殊な性質を持つ。
　従って､上の2つの性質を使い､得票のバラつきを計算し､A候補が”当確か否か”を測る事ができるという仕組みである。
　そこで”正規分布曲線”の横軸をA候補の得票率とし､縦軸をその得票率になる確率とすると､出口調査における得票率は55％だったから､投票者全体で見ても55％の得票率となる確率が一番高い点と考える。
　ここで､そこを頂点にしたグラフを作成する訳だが､もし出口調査の得票率が65％の時は､得票率65％となる確率が一番高い山の曲線となるのは言うまでもない(図1)。

　ただ､得票率が0％や100％となる可能性はほぼゼロで､得票率が20％や80％となる可能性も低い事を考慮してグラフを描くと､左右対称の山型の”正規分布曲線”が出来上がる。但し､この曲線だけをみれば､A候補の得票率が40％や50％となる可能性がないとは言いきれない。
　また､確率は最大が100％(=1)だから､正規分布曲線の面積も最大100％となる。故に､A候補の得票率の範囲の面積を絞り込み､その確率を予測する必要がある。
　そこで､正規分布曲線の端の部分から順に考えると､この部分の確率はかなり低い筈だ。実際に､Aの得票率が60％~90％となる確率を求めると0.07409％となる(図2)。詳しい計算方法は省くが､Aの得票率が60％~90％となる可能性は殆どない事が判る。

　次に､予測の精度を上げる為､”区間推定”という理論を使うが､これは予測の精度を上げる為には区間で考える事が重要で､例えば､55%と予測するよりも55%前後という感覚で予測した方が､精度が上がる事を我々は直感で理解してるからだ。
　そこで､この”区間推定”の考え方を”正規分布曲線”に用いると､予測の精度を100％にはできないから､(統計学的有意性で説明した様に)多くはその精度を95％とする事が多い。故に､”95％の確率”で予測の精度を設定すれば､正規分布曲線の面積が95％となる範囲を求めればいい事が判る。
　従って､出口調査の結果から作った正規分布曲線を元に区間推定をするが､まず区間を求めるには､(図3)のaとbを求めればよく､aとbの値が判れば､95％の確率でA候補の得票率がaとbの間に収まる事になる。

　因みに､正規分布曲線の面積が95％となる範囲を”95%信頼区間”と呼ぶが､無作為抽出を100回繰り返し､その都度信頼区間を計算した時に95回程はその区間中に母数(平均と分散)が含まれる事を示す。但し､分散とは統計データのばらつき具合を表す指標で､個々のデータと平均値の差(偏差)の2乗の平均を求める事で得られ､標準偏差は分散の平方根を取り､σで表される。
　この時､確率a,bの値を求める信頼区間Rの公式は､得票率rで調査人数nとすると､”r−1.96√(r(1−r)/n)≦R≦r+1.96√(r(1−r)/n)”で定義される。
　因みに､平均値μの信頼区間は各データxᵢに対し､サンプルサイズをnとすると､標準偏差σ=√(Σ(xᵢ−μ)²/n))となり､標準誤差はσ/√nで表され､信頼区間の幅は1.96σ/√nとなる。従って､信頼区間R=(μ−1.96σ/√n,μ+1.96σ/√n)を得る。
　但し､95%の信頼区間では､中心μからZまでの距離が47.5%(左右で95%)で､この時のZ値が1.96になる事を示している。

　そこで､上の公式にr=55％(0.55)を､nに000人を代入すると､a≒52％でb≒58％との値を得る。この結果は､得票率が52％~58％の範囲の時､正規分布曲線の面積が95％になる事を示すので､A候補は95％の確率で得票率が最低でも52％になる事が判る。
　言い換えると最低でも52％で半数の50%を上回るので､A候補は当確と判断できるのだ。

統計データに偏りは禁物！？

　但し､あくまでも予測は予測で､この場合は予測の精度が95％の確率でとの前提だ。故に､全て開票したら結果が異なったという事もあり得なくはない。
　事実､2017年の衆院選挙でも誤った当落判定が起きた。ただ､こうした誤判定を防ぐ為に”区間推定”と”正規分布曲線”を用いた推定では”偏りのあるデータを使用しない”事が重要な条件とされる。
　従って､選挙速報の出口調査では誤判定が起きない様に､A候補の出身地や支持者が特に多い地域といった得票に偏りが出そうな地域を避け､数多くの地域から無作為に調査の対象者を選んだりするなどの工夫が求められる。
　事実､出口調査には主に”2段階抽出”と呼ぶ方法が取られ､特別な得票所(候補者の自宅がある又は人口に偏りがあるなど)を除外した状態で無作為に投票所を選ぶ。
　また､予測調査では郵送調査や電話調査による方法も取られるが､調査対象をどの様な母集団にするかが非常に重要となる。

　もう1つ､有名な失敗例として､アメリカの調査会社ダイジェスト社のケースがある。1936年のアメリカ大統領選挙の予測で､当時絶大の信頼を得てたダイジェスト社は､約1000万枚のハガキを発送し､約200万以上の回答を得たが､それらを単純に集計し､共和党のランドン氏の当選を予測。
　一方で､前年に参入したばかりの別調査会社のギャラップ社は､調査対象の偏りをできる限り少なくする抽出方法を用い､約5万人から約3000の回答を得て､民主党のルーズベルト氏の当選を予測。
　結果は､ルーズベルトが当選し､選挙予測はギャラップ社の勝利に終わる。

　因みに､ダイジェスト社の失敗の原因は､調査対象を自社雑誌の定期購読者や電話帳､自動車登録名簿に載ってる人にしたからだと考えられている。当時のアメリカは大恐慌真っ只中で､比較的豊かな人は共和党を､それほど豊かでない人は民主党を支持する傾向にあった。つまり､雑誌の購読を続けられる人や電話や自動車などの保持者には富裕層が多く､ダイジェストの予測はその標本の偏りを反映した結果となった。
　一方､ギャラップ社はマーケティングの経験があり､標本の偏りを少なくする抽出法(=割り当て法)を用いたが､それは収入状態･居住地域･性別などで偏りがないよう標本を決めるものだった。結果､標本は母集団に近い形となり､ギャラップ社はダイジェスト社よりずっと小さい標本から正しい予測を行う事ができた。実はこの後､ギャラップ社も失敗をしでかすが､その事により､更に調査のデータサイエンスの世界は発展していく。　

　この様に､標本の偏りで出来るだけ排除し､統計数学を活用する事で”開票0％で当確”かどうかを予測できる時代。出口調査という断片的な情報から数学な考え方を用いて､全ての結果を予測する。つまり､数学は未来を予測して社会の役に立つ学問でもある。
　因みに､某調査において､AIの信頼を”統計学的有意性”で言えば､生成AI全体の診断精度は52.1%で､非専門医との差は僅かに0.6%であり､統計的有意差は認められなかったが､専門医と比べた場合､AIの診断精度が15.8%劣る事が明らかとなったという。従って､AIが提供する情報の精度で言えば､専門医や専門家との差は大きいが､主観的で漠然とした期待や信頼という点では､76～82%の人が国立大学や国立研究機関､防衛機関によるAIの開発･利用･管理は信頼でき､公共にとって最善だと回答したとされる(NPJ Digital Medicine誌)。
　

最後に〜AIと統計学的有意性　　

　最近は､多くのサイトでAIによる検索が真っ先に表示されるが､よく見ると微妙にズレてる様に思える事がある。事実､米コロンビア大学が行った研究によると”AIは情報源を適切に引用するという点で､根本的な欠陥があるようだ。AI検索ツールは引用元や引用文を捏造するだけでなく､大本となる記事の配信元へのトラフィックを遮断する事が判明した”として､これは報道とニュースの信頼性に深刻な影響を及ぼす問題だと警鐘を鳴らす。
　実験では公正を期す為､配信元20社から其々10本の記事を無作為に選び､その一部を抜粋しAI検索エンジンに提供。計1600回のクエリ結果を手作業で評価し､各AI検索がどの程度正確な回答を提示できたかを分析した。
　結果は驚くべき事に､AI検索ツールが正しい情報を見つけられなかった時､それを認める事なく､実に容易く”偽の結果”を生成したのだ。

　”AIChatBotは正確に答えられない質問への回答を拒否する事が苦手で､代わりに不正確な回答や推測に基づいた回答を提供した・・リンクを捏造する事も多く・・・”と分析し､”回答が不正確でも､信頼できる答えであるかの様に錯覚させた”と研究者らは記している(ForbesJAPAN)。

　確かに”有意性”で言えば､AI検索の回答とのズレが無視できる程に小さければ､AI的にも有意となるが､その誤差が±5%以内であれば､AIによる回答は信頼に値すると言えるかもしれない。こういうのを”AI的有意性”と言うのは勝手だが､信用とは一度失うと元に戻すのに大変苦労する。
　つまり､一時の人気や流行りだけでは信用と評価は得られないのである。
　AIが登場してから時代は浅く､未だ僅か5%ほどの開票率かも知れないが､大衆は既に”当確”の評価を与えつつある。だが有意性や信頼性で言えば､AI検索ツールが瞬時に弾き出す回答の精度を我らは注意深く検証する必要がある。
　つまり､政治家や議員の能力や資質を高い精度で評価し､投票する必要があるが､投票の結果を高い精度で予測する為には､統計学的有意性という概念が必要になる。
　では､政党や議員を投票する際の”有意性”とは､何で決まるのか？目に見える学歴や過去の実績か？目に見えない知覚や感性や資質であろうか？

　少なくとも､東京都の有権者の半分は”都民1stの会”が”有意”に値すると判断した。がそれは単に名前がユニークだったからか？自民が悪すぎるのか？それとも他に投票する党がなかっただけなのか？
　結局､選挙ってそんなもんだろう。我ら有権者が”統計学的有意性”を理解して政党や議員を選ぶ筈もないし､ましてやそういう言葉すら知らんだろう。
　勿論それが出来れば､政治が腐敗する事はないし､投票率もずっと増えるかもだが・・・