第１単元 第３章 １変数のモニタリング（３）

[3-B]時系列データのデータモニタリングを行う
続いて、時系列データの扱い方を学びます。時系列データとは、時間的経過にしたがって得られるようなデータのことです。

（１）ダービン・ワトソン比
ダービン・ワトソン比(Durbin-Watson Ratio)とは、今期と前期との関係の強さの関係を表した指標です。ダービン・ワトソン比は、隣り合う値が独立であるとき、2前後の値をとります



式を見てすぐに分かるように、隣り合う数値が近ければ近いほど、ダービン・ワトソン比は小さくなります。したがって、同じような傾向を持てば持つほど、この指標は小さな値をとることが分かります。


（２）自己相関係数
同じ時系列データ内で、一定程度、期間をずらし、ずらした期に基づいて計算した相関係数を、自己相関係数と呼びます。期間のずらす程度によって、得られる相関係数が異なります。かりに、ずらした結果、得られた相関係数が正の値をとるならば、ずらした期間において季節変動があると考えることができます
なお、自己相関係数とダービン・ワトソン比との間には



という近似的な関係があります

第１単元 第３章 １変数のモニタリング（２）

[3-A-2]非対称分布を扱う
ところで[3-A-1]のときは、外れ値を除けば、与えられた分布は正規分布に近いという暗黙の仮定がありました。では、そもそも、与えられた分布が正規分布に似ても似つかないときは、どのように対処すべきなのでしょうか。このような分布のことを、非対称分布と呼びます。非対称分布は、外れ値を除いても、正規分布にはなりません。非対称分布は、データを対数変換することで正規分布に変換できることが、経験的に分かっています。対数変換で正規分布になる非対称分布を、対数正規分布と呼びます。対数正規分布の具体例としては、勤労所得世帯の貯蓄調査や、血液検査で得られるコレステロールの分布などがあります。ただし、安易に変数変換すべきでないという意見もあることは、あらかじめ知っておかなければなりません。（変数変換後のデータ解釈が難しくなるため）

(1)中心極限定理と対数正規分布
変数xの変化は、たくさんの原因が積み重なったものであるとします。この関係が



とあらわされるならば、個々の誤差eの分布がどのようなものであっても、それらをたくさん集めたｘは正規分布に近づきます
この性質を、中心極限定理（Central Limit Theorem）と呼びます。なお、いま、もし、与えられた関係が和ではなく積のとき、つまり



ならば、xは正規分布になりません。そこで、両辺に自然対数をとります


(2)対数正規分布の性質
対数変換した後のデータの標準偏差は、変動係数(Coefficient of Variation)が1に比べて小さいとき、正規分布の変動係数に近いという性質があります

第１単元 第３章 １変数のモニタリング（１）

第一単元第3章では、１変数によるデータモニタリングを学びます。[3-A]では、簡単なグラフを用いて、具体的なデータモニタリング方法を学びます。その上で、与えられた分布が正規分布でない場合の対処方法についても学びます。[3-B]では、時系列データのデータモニタリング方法を学びます

[3-A] 与えられた分布のデータモニタリングを行う
まず与えられたデータに対して、ヒストグラムを作成してみましょう。ヒストグラムと同時に、基礎統計量も計算します。この結果、与えられたデータの概観を把握することができます。まず、与えられたデータが正規分布をなすかどうかを確認しましょう。もし、与えられた分布が正規分布とはいえないとき、どのように対処すべきでしょうか。まず、分布が正規分布をなさない原因として、次の２つがあげられます

a) 少数個の外れ値が含まれている

b) 分布の形が、全体として正規分布から外れている

与えられた分布が正規分布にならない原因が、a)なのかb)なのかは、ヒストグラムを見ると良く分かります。そして、それでは、各々の場合について、与えられた分布が正規分布になる修正法を学習します

[3-A-1]少数の外れ値が含まれているとき
(1)外れ値とは
ヒストグラムは、データが存在する区間では、棒グラフが連続して存在します。当然、データが途切れると、棒グラフも途切れます。ところが、途切れた棒グラフの先に、再びデータが出現する場合があります。このようなデータを、外れ値(Outlier)と呼びます。外れ値のことを、かつては、異常値と呼んでいました。しかし、以上かどうかは、固有の事情に照らし合わせて判断すべき事柄です。したがって、最近では、単に外れているという状況を表す外れ値と呼ぶようになっています。

(2)修正すべき外れ値の決定
外れている値を、何でもかんでも修正してはいけません。以下では、修正すべきデータの決定基準を学習します

(2-1)ヒストグラムと尖度・歪度を用いる方法
まず、元のデータから外れ値を削除してみましょう。すると、元のデータで計算した尖度・歪度・標準偏差・平均値が変化します。このようにして尖度・歪度の変化を確認することで、正規分布で得られる理論値に近づくように外れ値を削除しましょう

(2-2)残差分散を用いる方法
個々の値から平均値を引いた残差が、残差の標準誤差に比べて、特別に大きいかどうかを判断することができます。残差の平均平方は、

です。このσの代わりに、データから計算した標準偏差sをもちいて

で、が大きくなるときに、外れ値と判断します。は、経験的に2.5くらいが良いとされています

(2-3)4分位数と箱ひげ図を用いる方法
(2-1)と(2-2)の方法では、計算に標準偏差を用いました。よって、データ内に複数の外れ値がある場合、標準偏差自体も大きくなり、外れ値を見逃す恐れがあります。そこで、順位統計量を用いる方法があります。両側4分位値の差を4分位範囲とよびます。この4分位範囲の1.5倍以上離れたデータを外れ値とみなします。データが正規分布に従うとき、限界外に出る確率は約1%。これらの関係を表したのが、箱ひげ図です。

第１単元 第２章 平均値と最小２乗法（３）

前回までは、残差に関係する性質を確認しました
今回は、平均値と、分散それぞれについての性質を確認しましょう

[5] 期待値と分散の加法性


[６] 合計値の分散

第１単元 第２章 平均値と最小２乗法（２）

前回は、最小２乗法の求め方を確認しました
その結果、最小２乗法では、残差の計算がとても重要であることが、よくわかりました。そこで今回は、残差の分散と、残差平方和の自由度について確認します


[3] 残差の分散


[4] 残差平方和の自由度

第１単元 第２章 平均値と最小２乗法（１）

最小２乗法(Least Square Method)とは、データ解析の基本的な手法です。通常、統計学のテキストで最小２乗法を最初に学ぶのは、回帰分析です。しかし、統計学の基本概念である平均値は、最小２乗法によって導かれるものです。よって、回帰分析を学ぶ前に、最小２乗法を概観しましょう。

[0]最小２乗法とは？・身近な例で考える
いま、東京、横浜、名古屋、大阪、博多に住んでいる５人の旧友が、久しぶりに飲み会をすることにしました。ところが、５人全員が、自分が住む都市で飲み会を開きたいといって譲りません。でも、それでは、旧交を温めることができません。まさに本末転倒です。ホント、困ったことになったなあと、全員が思いました。まあ、本当にそう考えるなら、自分の主張を譲ればいいのです。が、他人を利するような譲歩ってのは、大人になったところで、できるようになるものでもありません。すると、昔から悪知恵が働く、名古屋に住む一人が、このような解決策を提案しました

「全員の移動量の合計が最小になる場所で、飲み会をしよう」

「全員の移動量が最小になる」とは、移動量が多い人も、少ない人もいるけど、５人全体の移動量から考えば、移動に要する労力が最も小さくなる場所のことです。他の４人は、この提案に対して、ちょっと腑に落ちない感じがしました。なんとなく、全員の中間地点である名古屋の近くで飲み会をすることになる感じがするからです。でも、他によい案もないし、ケチもつけにくい感じもします。結局、名古屋の人の提案を満たす場所で飲み会をすることにしました。では、飲み会の場所は、どの様に決めたらよいのでしょうか。勘と経験で、「うりゃぁーーー」と決めてしまう方法や、念力に頼る方法もあるとは思います。しかし、このブログの目的は、僕が数学的な意思決定を学ぶことにあります。ということで、飲み会をどこで開くべきかを、数学的に決めることを考えようと思います。
ただし、最小２乗法を用いて意思決定するという決断は、たんなる自分の好みによっているということは、肝に銘じておかなくてはなりません。突き詰めれば、本当に中立的な評価など、論理的に成り立ち得ないと思いますので。



[1]最小２乗法の一般的な解き方
さて、一般的にaを求める方法について考えましょう。



よって、飲み会をすべき場所は、東京から

(0 + 29 + 366 + 553 + 1176)/5 = 424.8

の地点です。なお、東名高速東京ICから名神高速八日町ICまでが432kmです。よって、飲み会は、滋賀県の八日町あたりで開催されることになるでしょう。

第１単元 第１章 データ解析の基礎

[1.1]データ解析の対象

（１）サンプル数と変数
データ解析の対象は、n×p行列で表されます
列 ⇒　調査対象に与えた変数の数：p個
行 ⇒　p個の各変数がもつサンプル数：n個
よって、データ総数は、npです

（２）ランダムサンプル
この講座では、n個のサンプルは独立にとられたものと仮定します。サンプリング対象と、分析対象が異なるデータは扱いません。たとえば、

"サンプリングしたm棟のマンションから、n個の各戸の環境を調べる"

といったデータには、高度な特別の手法が必要です。したがって、この講座では、扱いません。

（３）変数の種類
変数の種類は、量的変数と質的変数の２種類があります
①量的変数
）比例尺度　⇒　0点に意味がある（非線形変換が有効）
）間隔尺度　⇒　間隔だけに意味がある（非線形変換が無意味）

②質的尺度
）順序尺度　⇒　カテゴリーの順序に意味がある
）名義尺度　⇒　カテゴリーの順序に意味はない

（４）欠損値
欠損値は、できるだけはじきましょう。

[1.2]解析の手順
（１）事前解析の重要性
多変量解析では、一度に多くの変数を同時に扱います。そのために、事前にRaw Dataが持つ特性を、１変量解析/２変量解析によって、丹念に調べる必要があります。外れ値の存在や、変数変換・変数追加の必要性は、このプロセスによって初めて把握できるので、とても大切です。なお、このプロセスを、データモニタリングと呼びます。

（２）統計解析とデータ分析
統計解析とデータ解析の大きな違いは、次の通りです

）統計解析
数理統計学に基づいた解析技術。データは、i番目のサンプルのj番目のデータXijのように、抽象的に把握されます

）データ解析
変数やサンプルが持つ、固有の特性を理解したうえで分析を行うのが、データ分析。よって、サンプルが観測された状況は、解析者の頭の中に叩き込まれている必要があります。

つまり、理論的な根拠に基づく数学的なモデリングが統計解析、一方で、解析対象固有の状況を踏まえて分析するのがデータ分析といえるでしょう。その意味で、統計解析は「理論」と言えますが、データ分析はノウハウに基づく「術」に近いものです。したがって、変数の選択や変数変換は、データ分析において、非常に重要な意味を持つことになります。

[1.3]基本統計量
基本統計量は、以下の通りです

平均・標準偏差・変動係数・歪度・尖度
最小値・最大値・中央値・４分位点
相関係数

それぞれの概念については、事前に知識があるものと仮定します。

学習の手引き

[１]予備知識
この講座は、初等統計学の知識を前提としています。ただし、基礎統計量などの、初歩的な概念については、第一章で簡単に復習します。
なお、具体的な前提知識は、以下の通りです

期待値と分散
中心極限定理と正規分布
仮説検定・第一種の過誤
区間推定・信頼率

[２]学習する手法
回帰分析（単回帰・重回帰）・数量化１類・ロジスティック回帰
主成分分析

[３]計算
エクセル付属のＶＢＡを用いて計算することで、理論と計算方法の両面をバランスよく学びます

はじめに

このブログは、実務教育研究所が主催している「エクセルによる多変量解析実務講座」を受講している僕の備忘録です

この先、どうなるか分かりません。
数学的にも、大したことありません
でも、とりあえず、修了を目指して、がんばろうと思います。