映画『東京家族』 （その15）「琉球新報」論説委員長 潮平芳和氏 『東京新聞 2013.4.28』

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

写経（笑） 3.「エントロピー」 『岩波理化学辞典 第5版』

〔2〕情報エントロピー.　情報理論では,生起可能な状態に番号をつけ,ｉ番目の状態が現れる確率をＰ（ｉ）として,エントロピーをビット単位で計って







　　　　　　　　　　　　　　　　　　Ｈ＝－ΣＰ（ｉ）ｌｏｇ₂Ｐ（ｉ）




で定義する.Ｈ≧０で,Ｈの価はどの状態が生起するかの不確定の度合いを表し,これを示すには２進信号で表して平均してＨ桁の長さの情報が必要である.エントロピーを用いて情報量が定義できる.Ｈ＝０ならば完全に情報を得ていることになる.２つの相関のある事象系に対しては,一方の事象系で状態　ｊ　が生起したという条件の下で他の事象系で状態　ｉ　が生起する条件つき確率




　　　　　　　　　　　　





を用いて,条件つきエントロピー






を導入する.雑音を伴う通信の情報量はこの形で表せる.マクスウェルの魔物のパラドックスは,魔物のもつ情報のエントロピーが負であるとして説明できる.なお,確率論,エルゴード理論,統計学などに関連して種々の形のエントロピーが用いられる.コルモゴロフのエントロピー,カルバック-ライブラーの情報量,赤池の情報量規準などである.