通信の数学的理論：クロード・E. シャノン、ワレン・ ウィーバー

「通信の数学的理論：クロード・E. シャノン、ワレン・ウィーバー」

内容（「BOOK」データベースより）
21世紀に入ってさらなる広がりを見せる情報化社会への道は、クロード・シャノンが大戦直後に発表した一本の論文から始まった―本書はその「通信の数学的理論」に、ウィーバーの解説文を付して刊行されたものである。“ビット”による情報の単位の定義やエントロピーを用いた情報量の計算、さらには“情報源符号化定理”や“標本化定理”など、数々の画期的な洞察はまさに今日の情報通信を基礎付けるものであり、先端技術が当面する問題を解決するためのヒントにもなるだろう。「およそ“情報”を主題とするすべての研究分野に光明をもたらす」と評されるシャノンの不朽の研究が新訳で甦る。


理数系書籍のレビュー記事は本書で197冊目。

情報処理産業で長年働いていることもあり、この本はいつか読みたいと思っていた。幸いなことにちくま学芸文庫から３年前に手頃な価格で出版されていたのでワクワクしながら購入した。

現代のデジタル化社会の基礎をなす情報理論の大部分は、シャノンが1948年に発表した論文で完成していた。これにウィーバーの解説文をつけて翌年に出版したのが本書（の英語版）である。情報技術のその後の発展は主に彼の理論にもとづく技術革新によって実現されてきたに過ぎない。この歴史の記念碑的な本を新しく訳されたのが情報理論がご専門の植松友彦先生である。日本語版には植松先生によるシャノン理論の解説も含まれている。


情報というものを数学によって定義し、効率的に情報伝達すること、雑音やエラーなどでかき乱される状況で正しく効率的に情報伝達するための限界や考え方を明らかにした。シャノン以前では、エラーが発生したときは単にその情報を送り直せばよいという考え方が支配的だった。論文の中で「離散的」、「連続的」と明示されているように、理論がカバーしているのはデジタル通信とアナログ通信の両方についてだ。情報とは何か、情報を数量的にとらえることは可能なのか。情報現象の本質が確率論を基礎に初めて数量的に定式化したのがシャノンの論文なのだ。

現代のデジタルテレビのH.264/AVCという符号化/復号化規格や動画ファイルのMPEG2規格なども物理的に制限のある通信環境の中で大量の情報を圧縮し、高速に伝達するためものだ。デジタルであれアナログであれ「通信」や「情報伝達」と名のつくことがらは、すべてこのシャノンの理論の上に成り立っている。LTE回線を使うスマートフォンはもちろん、アナログ通信を使う固定電話やラジオ放送、人と人の間で交わされる言葉による会話も含まれる。

パソコンやデジタルテレビやスマートフォンでは、データ送信エラーが起きたときに自動的にエラーを直すしくみが組み込まれている。そのおかげで私たちはエラーが起きたことすら気が付かない。悪天候のときなどデジタルテレビの画面で見られるブロックノイズや音声の途切れなどは、エラー回復が十分にできなかった場合に発生する現象だ。

人間同士の会話でも周囲の雑音が大きいと意思伝達がうまくいかない。日本語や英語などの自然言語には約５０パーセントの冗長性（無駄な部分）があるおかげで、一部が聞き取れなくても意味を復元できるようになっている。しかし雑音などによる情報の損失は、一定の限界を超えるとエラーからの復元が完全になされず、情報伝達は不可能になってしまうのだ。シャノンの理論にはデジタル、アナログの両面に渡って、情報伝達と雑音によるエラーの数量的関係が明確に示されている。

論文が発表されたのは第二次大戦直後、真空管式コンピュータ「EDSAC」が作られた頃だ。アメリカではラジオ放送や白黒テレビ放送はすでに始まっており、商用テレックスが使われていた時代だ。このような昔に考案された理論が修正されることなく、現代のデジタル社会に直接的な影響を与え続けているのだ。

パソコンでおなじみの情報量の最小単位「ビット」を考案したのもシャノンのこの論文によるものだ。コンピュータで扱えるあらゆる情報、つまりテキストや写真、音声、動画などはすべて０と１の組み合せで表すことができ、それをどのように組み合せて符号化し最小のデータ量で通信を行うかを決定することができる。情報を受け取った側では符号化と反対の計算、つまり復号化を行なってテキストや写真、音声、動画を再現する。

シャノンの深い洞察は論文の最初のほうですでにうかがえる。情報量がエントロピーという量と本質的に同じだと述べている点だ。エントロピーはもともと熱力学、統計力学における量で、たとえ
定義式がエントロピーの式と同じであったとしても、それをエントロピーと呼ぶ理由が明確なわけではない。それでもなおエントロピーと名付けたところにシャノンの先見性がうかがえる。実際、情報をエネルギーに変換する実験は２年前に成功している。

参考文書：情報をエネルギーに変換することに成功！（2010年：中央大学、東京大学）
http://j-net21.smrj.go.jp/develop/digital/entry/001-20110323-01.html


さて本書の難易度であるが、前半のデジタル理論について僕の理解度は８５パーセント、後半のアナログ理論については７０パーセントくらいだった。文庫本とはいえこれは専門書である。使われている数式は大学初年度くらいまでの内容であるが、数式の導出過程がすべて示されているわけでもなく、意味の汲み取りにくい文章も多い。（論文だから仕方がない。）ウィーバー、植松先生による解説のページは１００パーセント理解できた。

デジタル技術については日ごろから慣れ親しんでいるので前半のほうが読みやすい。アナログ技術について書かれている箇所は、数式の上では理解できても直観的なイメージと結びつきにくかったのが理解度が下がってしまった理由だ。

この歴史的な論文は以下のPDF文書で公開されているので、難易度を知るための目安になるだろう。英語でお読みになりたい方は、このPDF文書でチャレンジするとよい。55ページある。前提知識としてボルツマンの公式や熱力学、統計力学をおさえておいたほうが、シャノン理論を読む醍醐味が増すと思う。

A Mathematical Theory of Communication (1948) by C.E.Shannon
http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf
http://www.mast.queensu.ca/~math474/shannon1948.pdf


ウィーバーによる解説を含んだ形で出版されている英語版の本は、こちらで購入することができる。（論文のほうはタイトルが「A～」で始まり、書籍のほうは「The～」で始まる。）

「The Mathematical Theory of Communication：Claude E. Shannon, Warren Weaver」（Kindle版）


シャノンの情報理論を現代向きにやさしく解説した本としては甘利俊一先生による次の本をお勧めする。1970年に刊行された本を昨年ちくま学芸文庫から復刊したものだ。シャノンの論文を意識して書かれた本なので今回紹介したシャノンの本と相性がよい。読者数が見込めないこのような専門書を手頃な価格で次々と刊行してくれるちくま学芸文庫には懐の深さをいつも感じている。

「情報理論：甘利俊一」（レビュー記事）



本書を訳された植松先生による本にこだわるのだったら、次の２冊をお読みになるとよいだろう。「イラストで学ぶ～」のほうは、学部生向けの内容だという。（参考ページ）

「イラストで学ぶ 情報理論の考え方：植松友彦」
「現代シャノン理論―タイプによる情報理論：植松友彦」

　


関連ページ：

連載：インターネット・サイエンスの歴史人物館（2）クロード・シャノン
https://sgforum.impress.co.jp/article/774

「通信の数学的理論」その後の話-還暦を越えた情報理論
https://www.jstage.jst.go.jp/article/essfr/4/2/4_2_123/_article/-char/ja


応援クリックをお願いします！このブログのランキングはこれらのサイトで確認できます。
　　



「通信の数学的理論：クロード・E. シャノン、ワレン・ウィーバー」


序文
はしがき

通信の数学的理論への最近の貢献：ワレン・ウィーバー

１：通信の分析的研究の一般的背景に関する導入的研究
- 通信
- 通信の問題の３レベル
- コメント

２：レベルAにおける通信の問題
- 通信システムとその問題
- 情報
- 通信路の容量
- 符号化
- ノイズ
- 連続メッセージ

３：通信の問題における３レベルの相互関係
- はじめに
- レベルAの理論の一般性


通信の数学的理論：クロード・E. シャノン
まえがき

I：離散的無雑音システム
- 離散的無雑音通信路
- 離散的情報源
- 英語の近似列
- マルコフ過程の図式的表現
- エルゴード情報源と混合情報源
- 選択、あいまい度、エントロピー
- 情報源のエントロピー
- 符号化と復号化の操作の表現
- 無雑音通信路に関する基本定理
- 議論と例
-
II：雑音のある離散的通信路
- 雑音のある離散的通信路の表現
- あいまい度と通信路容量
- 雑音を有する離散的通信路の基本定理
- 議論
- 離散的通信路とその容量の例
- ある特別な場合の通信路容量
- 効率的な符号化の例

III：連続情報
- 関数の集合とアンサンブル
- 関数の帯域制限アンサンブル
- 線形フィルタによるエントロピーの損失
- ２つのアンサンブルの和のエントロピー

IV：連続通信路
- 連続通信路の容量
- 平均電力の制限された通信路容量
- ピーク電力制限のある通信路容量

V：連続情報源のレート
- 忠実度評価関数
- 忠実度評価に関する情報源のレート
- 謝辞

付録
- 有限状態条件を有する記号ブロックの数の増加速度
- H=-pi*log(pi)の導出
- エルゴード情報源に関する諸定理
- 制約系における速度の最大化

訳者解説