情報エントロピー

【情報エントロピー】

物理学のエントロピーの概念を、情報量の定義指標として情報理論に導入したもの。情報科学の祖と言われる Claude E. Shannon (クロード・シャノン)氏が1948年に考案した理論の一部で、その後の情報科学の発展に大きく寄与した。
物理学のエントロピーは「乱雑さ」とも訳され、物質やエネルギーの局在(偏り)の度合いを表す。例えば、水の入ったコップにインクをたらすと、最初はインクの分子は水の中のある部分に「もや」のようにかたまっている。これが「エントロピーの低い状態」である。しかし、時間の経過とともにインクはコップ全体に行き渡り、やがで均一な色になる。この状態が「エントロピーの高い状態」である。自然界では、エントロピーは系全体としては減少することなく、時間とともに増加を続ける。これが物理学の「熱力学第2法則」である。
情報科学の分野では、このエントロピーを「事象の不確かさ」として考え、ある情報による不確かさの減少分が、その情報の「情報量」であると考える。情報を受け取る前後の不確かさの相対値を「情報エントロピー」という。
例えば、サイコロを振ったとき、結果を見る前はどの目が出たかまったく分からないので、不確かさ「情報エントロピー」は最大である。「奇数の目が出た」という「情報」を受け取ると、「情報エントロピー」は減少する。「1の目が出た」ことを知れば、結果は一意に確定し、「情報エントロピー」は最小となる。

出典：キーマンズネット
-------------------------------------

数式が出てこないので、あまりに文学的なのですが、情報エントロピーの雰囲気が伝わってきました。

私はＩＴ業界の会社にいますが、技術者ではありませんし、アカデミックバックグラウンドも異なる分野でしたので、情報科学をアカデミックに学んだ経験がありません。

仕事に疲れたときに、気分転換に、情報科学関連の情報をインプットすることは、和歌を読んだりするのと同じく楽しいものだと思いました。

ただし、情報エントロピーに関連して、熱力学の第２法則を読んでいたら、数式が出てきてとても気分がわるくなりました。