信号の空間 (4)

sys.pdf sys.txt 記事一覧

ブラウン運動 [1-41]

#16: 条件付き確率

資料[1-36]を追加します（[1-27]より読みやすい)．条件付き確率とこれに関するベイズの定理もこの資料の説明を読んでください．もちろん sys.pdf ではきちんと説明します．

[1-36] 確率と統計
  http://www.sist.ac.jp/~suganuma/kougi/other_lecture/SE/math/prob/prob.htm
  2.1 事象，2.2 確率の定義，3.1 確率変数，3.2 平均と分散，3.3 確率分布
[1-37] 条件付き確率 - Wikipedia
  http://ja.wikipedia.org/wiki/%E6%9D%A1%E4%BB%B6%E4%BB%98%E3%81%8D%E7%A2%BA%E7%8E%87
--------------------
[1-38] 条件付き確率とモンティ・ホール問題 - k-takahashi's 雑記
  http://d.hatena.ne.jp/k-takahashi/20080307/1204904631
[1-39] LN05：条件つき確率と事象の独立性
  http://www.eco.osakafu-u.ac.jp/~murasawa/us-ln05.pdf

 

#17: マルコフ情報源

信号を量子化した y(n) ＝ x(nτ) について，y(n) に対応する確率変数 Y_n の数列（確率過程）を考えます．τが小さければ y(n+1) の値は y(n) の値からあまり変化しない，と考えられます．このことは Pr{Y_n+1 ＝ a} に比べて，条件付き確率Pr{Y_n+1 ＝ a | Y_n ＝ b} （ a ≒ b）が非常に大きくなることを意味しています．

Y_n+1 が Y_n に依存しないとき x(t) を出力する信号源をランダム情報源，Y_n のみに依存してそれ以前の Y_k （ k ＜ n ）に依存しない x(t) を出力する信号源を単純マルコフ情報源といいます．

発展： 基礎理論では通常 X_n の確率分布を正規分布と仮定します．

[1-40] 確率過程 - Wikipedia
  http://ja.wikipedia.org/wiki/%E7%A2%BA%E7%8E%87%E9%81%8E%E7%A8%8B
[1-41] ブラウン運動 - Wikipedia
  http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95
-------------------------
[1-42] ウィーナー過程 - Wikipedia
  http://ja.wikipedia.org/wiki/%E3%82%A6%E3%82%A3%E3%83%BC%E3%83%8A%E3%83%BC%E9%81%8E%E7%A8%8B
[1-43] マルコフ過程 - Wikipedia
  http://ja.wikipedia.org/wiki/%E3%83%9E%E3%83%AB%E3%82%B3%E3%83%95%E9%81%8E%E7%A8%8B
[1-44] 離散グラフ上のマルコフ過程
  http://www.ma.noda.tus.ac.jp/u/sh/pdfdvi/10aa.pdf

信号の空間 (3)

sys.pdf sys.txt 記事一覧

確率の性質 [1-27]

#14: 確率変数

n を決めたとき y(nτ) も分かるのであれば y を送信／記録する必要はありません．y(nτ) の値（整数）が未知のとき，これを確率変数 Y として，Y ＝ k である確率を p_k で表わし，

  0 ≦ p_k ≦ 1,    Σ_k p_k ＝ 1

であるとします．なお，x(t) についても，実数値をとる確率変数 X を考えることができます．このときは，通常 Pr{X ＝ a} ＝ 0 なので X ≦ a である確率 Pr{X ≦ a} で考えます．

発展： 順序をつけられない集合 Ω の部分集合 A に対する確率 Pr{A} を考えることもできます．このとき Pr{φ} ＝ 0（φは空集合），Pr{Ω} ＝ 1 であり，かつA ∩ B ＝ φ ならば Pr{A ∪ B} ＝ Pr{A} ＋ Pr{B} であることが必要です．

[1-23] 確率論 - Wikipedia
  http://ja.wikipedia.org/wiki/%E7%A2%BA%E7%8E%87%E8%AB%96
[1-24] 確率分布 - Wikipedia
  http://ja.wikipedia.org/wiki/%E7%A2%BA%E7%8E%87%E5%88%86%E5%B8%83
[1-25] 確率変数とは - 数学 - 教えて！goo
  http://oshiete.goo.ne.jp/qa/1443668.html
-------------------------
[1-26] 確率空間 - Wikipedia
  http://ja.wikipedia.org/wiki/%E7%A2%BA%E7%8E%87%E7%A9%BA%E9%96%93
[1-27] 目 次 1 確率空間
  http://www2b.comm.eng.osaka-u.ac.jp/~takine/tmp/math.pdf
  全27頁の本格的な講義資料です．（１．確率空間は pp.1-11; ２．期待値は pp.12-16）

 

#15: 期待値と分散

確率変数 Y の値 k と Y ＝ k である確率 p_k の総和を Y の期待値といい E[Y] で表わします．すなわち

  E[Y] ＝ Σ_k p_k k

です．Pr{X ≦ a} のときは f(u) ＝ Pr{X ≦ u} である f（確率分布関数）の導関数 f '（確率密度関数）を用いて

  E[X] ＝ ∫_R u f '(u) du

と定めます．また，(Y - E[Y])² の期待値を Y の分散といいます．

[1-28] 期待値 - Wikipedia
  http://ja.wikipedia.org/wiki/%E6%9C%9F%E5%BE%85%E5%80%A4
[1-29] 分散 - Wikipedia
  http://ja.wikipedia.org/wiki/%E5%88%86%E6%95%A3
[1-30] 期待値の求め方（期待値の定義）
  http://w3e.kanazawa-it.ac.jp/math/category/kakuritu/kakuritu/henkan-tex.cgi?target=/math/category/kakuritu/kakuritu/kitaiti-no-teigi.html
[1-31] 平均と偏差、分散、相関
  http://www.takenet.or.jp/~hayakawa/u-tan1-1.htm
-------------------------
[1-32] 一様分布 - Wikipedia
  http://ja.wikipedia.org/wiki/%E4%B8%80%E6%A7%98%E5%88%86%E5%B8%83
[1-33] 連続一様分布 - Wikipedia
  http://ja.wikipedia.org/wiki/%E9%80%A3%E7%B6%9A%E4%B8%80%E6%A7%98%E5%88%86%E5%B8%83
[1-34] 正規分布 - Wikipedia
  http://ja.wikipedia.org/wiki/%E6%AD%A3%E8%A6%8F%E5%88%86%E5%B8%83
[1-35] チョコっと正規分布
  http://www.kwansei.ac.jp/hs/z90010/sugakuc/toukei/seiki/seiki.htm

信号の空間 (2)

sys.pdf sys.txt 記事一覧

標本化された信号 [1-15]

#12: 標本化と補間

１次元のアナログ信号 x : R → R (R は実数の集合)に対して y(n) = x(nτ) で定められる信号 y : Z → R (Z は整数の集合)を x を標本化周波数 1/τ で標本化した信号といいます．また y(n) = x(nτ) から x(t) を近似的に再現することを補間といいます．

計算機科学でよく用いられる補間は [1-13] で説明されていますが，信号処理で用いるのは

  Σ_n x(nτ) h(t - nτ)

のような形の補間です．直線補間のときは h(t) = max{0, 1 - |t/τ|}．

発展： 1/τ を x の帯域幅の２倍以上にすれば h(t) を適当に選ぶことにより y から x を復元できるというのが標本化定理です．ぼんさい塾でも [1-16] で取り上げましたが，sys.pdf では割愛し，補遺にまわします．

[1-12] 標本化 - Wikipedia
  http://ja.wikipedia.org/wiki/%E6%A8%99%E6%9C%AC%E5%8C%96
[1-13] 内挿 - Wikipedia
  http://ja.wikipedia.org/wiki/%E5%86%85%E6%8C%BF
-------------------
[1-14] 標本化定理 - Wikipedia
  http://ja.wikipedia.org/wiki/%E6%A8%99%E6%9C%AC%E5%8C%96%E5%AE%9A%E7%90%86
[1-15] デジタル情報処理 標本化定理
  http://www.image.med.osaka-u.ac.jp/member/yoshi/ouec_lecture/digital_processing/handout/Sampling_theorem.pdf
[1-16] くし型関数
  http://blog.goo.ne.jp/bonsai-juku/e/a265ccb64a208c31ef4227caf6e0902a

 

#13: 量子化

一般に連続値を離散値に変換することを量子化といいます．標本化でも定義域の量子化を行っていますが，標本化と量子化を併記するときは信号の値域を離散化することを指します．代表例は実数値を四捨五入して整数にする丸めです．

発展： 標本値を非線形関数で圧縮して丸めることを非直線量子化といいます．公衆電話網の PCM 信号では標本化周波数 8kHz の13 ビットの標本値を 8 ビットに圧縮しています．なお，信号を伝送・記録するときは通常多くの標本値をまとめて処理し全体でビット数が少なくなるように工夫しますが，符号化技法の展望は割愛します．

蛇足： 昔の専門分野です＞1980-03, 1980-10．

[1-17] アナログ-デジタル変換回路 - Wikipedia
  http://ja.wikipedia.org/wiki/%E3%82%A2%E3%83%8A%E3%83%AD%E3%82%B0-%E3%83%87%E3%82%B8%E3%82%BF%E3%83%AB%E5%A4%89%E6%8F%9B%E5%9B%9E%E8%B7%AF
[1-18] 量子化 - Wikipedia
  http://ja.wikipedia.org/wiki/%E9%87%8F%E5%AD%90%E5%8C%96
-------------------
[1-19] 非直線量子化 ‐ 通信用語の基礎知識
  http://www.wdic.org/w/SCI/%E9%9D%9E%E7%9B%B4%E7%B7%9A%E9%87%8F%E5%AD%90%E5%8C%96
[1-20] 量子化誤差 - Wikipedia
  http://ja.wikipedia.org/wiki/%E9%87%8F%E5%AD%90%E5%8C%96%E8%AA%A4%E5%B7%AE
[1-21] 量子化と符号化
  http://www1.kamakuranet.ne.jp/smo/proctalk/quantize.htm
[1-22] 情報圧縮
  http://www.sie.dendai.ac.jp/ed/digest/ftr.cgi/subject/digest/E304/%E6%83%85%E5%A0%B1%E5%9C%A7%E7%B8%AE%E8%AC%9B%E7%BE%A9all.pdf
  標本化は pp.38-49，量子化は pp.52-56（全 285 ページ）

信号の空間 (1)

sys.pdf sys.txt 記事一覧

「例で考える離散システム」の参考資料です．

#10: 信号の表現

情報の伝達・記録のための物理的表現を信号といいますが，sys.pdf では位置ベクトル r，時刻 t の関数を信号と考えます．定義域，値域ともに連続な信号をアナログ信号，定義域，値域ともに離散的な信号をディジタル信号といいます．

(1) 窓から見える景色を３原色に分解した x(r, t) の r, t は連続値，これを撮像して液晶ディスプレイに表示した動画像の定義域は離散値です．
(2) シーケンシャル・ファイル sys.txt は文字の１次元配列で文字の時系列と単純に対応しているので，以下では離散時刻の関数として扱います．

sys.pdf では関数（写像）x と関数の時刻 t における値 x(t) を表現上でも明確に区別します．ぼんさいノートでは秀才を相手にしていません．ぼんさいには違うものは表現も違う方が無難です．[1-4]の「f(x) と f の使い分けが好ましい例」を見てください．

蛇足： PAM（パルス振幅変調）は定義域が離散で値域が連続，PWM（パルス幅変調）は定義域が連続で値域が離散．

[1-1] まず覚える数学公式
  http://pulsar.blog.ocn.ne.jp/bonsai/math.pdf
[1-2] 信号 - Wikipedia
  http://ja.wikipedia.org/wiki/%E4%BF%A1%E5%8F%B7
[1-3] 第6回 デジタル信号、アナログ信号って何？ － ＠IT MONOist
  http://monoist.atmarkit.co.jp/fembedded/column/nakane/nakane06.html
[1-4] 関数とは
  http://blog.goo.ne.jp/bonsai-juku/e/2405a5b2afef34af6821964e4d2fee20
[1-5] パルス変調 - Wikipedia
  http://ja.wikipedia.org/wiki/%E3%83%91%E3%83%AB%E3%82%B9%E5%A4%89%E8%AA%BF

 

#11: 線形空間

微積分や行列は線形の演算です．このため信号についても線形の空間を考え，例えば１次元のアナログ信号の場合，信号 x, y とスカラー値 a について，信号 x + y，a x を

  (x + y)(t) = x(t) + y(t)
  (a x)(t) = a x(t)

で定義します（「定義域内の任意の t について上式が成立するとき」の意味ですが，慣例に従って簡易表現を用います）．また，(x + y)(t) = x(t) である y を 0 で表わします．ベクトル値の x, y についても同様です．

数学では演算に関して閉じているか否かを重視します（例えば有理数の数列の極限が存在するとは限らないから実数を考える）．「x, y が信号なら x + y や a x も信号」として和やスカラー倍に関して閉じた集合（線形空間＝ベクトル空間）を考えます．

発展： 信号は基底となる信号の加重和で表わされます．内積が定義され，信号の大きさ（0との距離）を内積の平方根で定義した（完備な）距離空間をヒルベルト空間といいます．

[1-6] ベクトル空間 - Wikipedia
  http://ja.wikipedia.org/wiki/%E3%83%99%E3%82%AF%E3%83%88%E3%83%AB%E7%A9%BA%E9%96%93
[1-7] 関数空間 - Wikipedia
  http://ja.wikipedia.org/wiki/%E9%96%A2%E6%95%B0%E7%A9%BA%E9%96%93
[1-8] 線型部分空間 - Wikipedia
  http://ja.wikipedia.org/wiki/%E7%B7%9A%E5%9E%8B%E9%83%A8%E5%88%86%E7%A9%BA%E9%96%93
------------------
[1-9] ヒルベルト空間 - Wikipedia
  http://ja.wikipedia.org/wiki/%E3%83%92%E3%83%AB%E3%83%99%E3%83%AB%E3%83%88%E7%A9%BA%E9%96%93
[1-12] 完備距離空間 - Wikipedia
  http://ja.wikipedia.org/wiki/%E5%AE%8C%E5%82%99%E8%B7%9D%E9%9B%A2%E7%A9%BA%E9%96%93
[1-10] 内積 - Wikipedia
  http://ja.wikipedia.org/wiki/%E5%86%85%E7%A9%8D
[1-11]ノルム - Wikipedia
  http://ja.wikipedia.org/wiki/%E3%83%8E%E3%83%AB%E3%83%A0
 

数学公式と暗記

記事一覧	math.pdf [#22]

まず，在職中に聞いた笑えない話を紹介します．方程式「 (x - 3)² - 5 = 0 」等より「 x² - 6 x + 4 = 0 」等の方が正答率が高い．理由は (x - 3)² - 5 等を展開するときに間違えて，誤った値を解の公式に代入する生徒がいるからだそうです．

「数学公式 暗記」の Google 検索で下記のような資料が見つかりました．このブログでも「公式より仕掛品」で，公式の覚え方の一例を示しました．これに関連して若干補足します．「公式を理解して覚える」ことは大切ですが，証明は理解した後に忘れてもいいのです(※)．例えば「-a = 0 - a」は証明不能の定義，「(-1)a = -a」は証明可能な公式ですが，いつまでも証明を覚えている必要はないでしょう．証明を理解したことで数学的な考え方が訓練されているはずです．理解できなかった証明は無視して，公式を自然法則と同様の公理だと割り切りましょう．何でも理解しようとするとノイローゼになります．

※ 企業でシステムを設計するとき「ハンドブックの公式集を見るな」とは誰も言いません．卒業後は公式そのものも覚えることは必須ではありません．使っていれば自然に覚える，使わなければ忘れてもしょうがない．大切なのは「理解できた」という経験で養われた考え方です．

[1] 大学受験における効率的な勉強法－数学編（暗記型か理解型か、勉強の仕方）
  http://saikyoustudy.com/benkyouhou/benkyouhou_math.html
  結局数学では、①暗記も②理解も境界がないのではないか、という結論に私は達しました。
[2] 大学受験：数学の公式は暗記しないといけないものと、理解して覚える ...
  http://hmg7.livedoor.biz/archives/50549170.html
  一般的に、数学の教科書で公式といわれているものには2通りあります。
[3] 数学の公式の暗記は必要か: 高校受験の部屋
  http://s427.cocolog-nifty.com/blog/2008/08/post_c7f1.html
  どんな解法をつかって解くかを考えることが重要で知識だけを溜めていっても役に立ちません！
[4] 高校数学の公式が暗記できない。 - Yahoo!知恵袋
  http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1213221327
  その公式の使い方や解き方、その公式を使うべき問題の種類も同時に覚えられます。
[5] 公式は暗記？それとも理解？(1/2) | OKWave
  http://okwave.jp/qa/q2179727.html
  ANo.5: とりあえず使い方を覚えて、あとから考え方を学ぶ、というのも決して間違いではありません。