＊はてなダイアリーでは：
【entropy】無秩序さや乱雑さの度合い。
1. 熱力学的には、可逆な過程で系に与えられた熱量を系の絶対温度で除したものが過程の前後のエントロピーの差と定義される。
2. 統計力学的には、系が取りうる状態の数の自然対数?にボルツマン定数?をかけた量。
3. 情報科学的には情報量?と同義。単位はビット?になる。
たとえば情報量の計算では、確率 P で起こる事象に関する情報量は-log_2 Pビットと計算される。確率 1/8 で起こることなら 3bit、など。稀な事象が起こったという情報ほど情報としての重要性が大きいと言うこと。たとえば「今日は中央線が人身事故のため遅れています」という情報はよくあることなので情報量が低い。しかし「阪神が日本シリーズで優勝した」という情報は稀なことなので情報量が多い。
なぜ -Log Pなのかというと、例えば「中央線が止まってて、阪神が日本シリーズで優勝した」という情報の情報量はそれぞれの情報量の和になるが、そういう事が起こる確率はこの場合二つの事象がほぼ独立と考えられるので、中央線が止まる確率Paと阪神優勝の確率Pbの積 Pa Pbとなる。log (Pa Pb) = log Pa + log Pb となるので、Log ならばちゃんと二つの情報量の和になることが分かる。
＝＝＝＝＝＝＝＝＝＝＝＝
＊IT用語辞典では：
情報エントロピー 【information entropy】
読み方 ： ジョウホウエントロピー
物理学のエントロピーの概念を、情報量の定義指標として情報理論に導入したもの。情報科学の祖と言われる Claude E. Shannon (クロード・シャノン)氏が1948年に考案した理論の一部で、その後の情報科学の発展に大きく寄与した。
物理学のエントロピーは「乱雑さ」とも訳され、物質やエネルギーの局在(偏り)の度合いを表す。例えば、水の入ったコップにインクをたらすと、最初はインクの分子は水の中のある部分に「もや」のようにかたまっている。これが「エントロピーの低い状態」である。しかし、時間の経過とともにインクはコップ全体に行き渡り、やがで均一な色になる。この状態が「エントロピーの高い状態」である。自然界では、エントロピーは系全体としては減少することなく、時間とともに増加を続ける。これが物理学の「熱力学第2法則」である。
情報科学の分野では、このエントロピーを「事象の不確かさ」として考え、ある情報による不確かさの減少分が、その情報の「情報量」であると考える。情報を受け取る前後の不確かさの相対値を「情報エントロピー」という。
例えば、サイコロを振ったとき、結果を見る前はどの目が出たかまったく分からないので、不確かさ「情報エントロピー」は最大である。「奇数の目が出た」という「情報」を受け取ると、「情報エントロピー」は減少する。「1の目が出た」ことを知れば、結果は一意に確定し、「情報エントロピー」は最小となる。
＝＝＝＝＝＝＝＝＝＝＝＝
以上、引用終わり。
＊一個の生卵がある。湯の中で茹で卵にされると、もう元の生卵には戻れない。
ゆで卵は例えばトーストと一緒に朝の喫茶店のモーニングサービスとして出されるだろう。（昔はこれが定番だった。）
これを食べるのは、仮にサラリーマンＡ氏。家から持って出た『日経』を、会社近くのこの喫茶店で、珈琲を飲みながら読むのを日課としている。
Ａ氏の体内に入ったゆで卵は消化されて栄養源・エネルギー源として使われ、余った分は他の不要なカス共々翌朝か更にその翌朝、Ａ氏の意思によって彼の自宅トイレに排出される。
Ａ氏は巨大団地の一住人である。団地の朝はあちこちの『マッチ箱』から「ブリブリッ！」「ビチビチッ！」の大合唱が響いて来る。巨大な量の糞尿が下水を流れる。
下水の流れる速度はちょうど人の歩く速さと思えばいいそうである。
しかし、と私はここで考え込んでしまう。汚水処理施設がしっかりしていれば、この先河川～河口～近海を窒素酸化物（？）等の汚泥で汚し尽くし、過栄養化して生態系を大きく損なうことなど有り得ないのではないか？ 役所たるものそういうことに金使えってんだ！ 馬鹿野郎！・・・事実多摩川～東京湾では自然が回復しつつあるらしい。関西の大和川は確か横浜鶴見川に次いで汚染度ワースト２だったと思う。
汚水処理施設で汚泥を燃やし、その熱で温水プールを営む。燃えカスは固めて公園等のレンガ・フラワーポットを作る。公園で憩う人々は、まさか花壇の原材料がウンコだなどとは思わない。・・・というわけで生活排水と雨水とを峻別し、雨水にはそのまま海まで直行して頂き（当然一部地中にも入って戴いて）人間が汚した分は人間自身がきれいきれいにして海に流すようにしないといけない。
養鶏場では海産物・水産物も鶏さんたちの飼料とされている。きれいな海や川から獲れたそういう餌を食べた鶏さんが、こうしてようやくＡ氏のための生卵一個をまた産んでくれるという巡り合わせとなる。人間の努力無くして生態系の円滑な循環はない。そういう時代に私たちはいる。
【entropy】無秩序さや乱雑さの度合い。
1. 熱力学的には、可逆な過程で系に与えられた熱量を系の絶対温度で除したものが過程の前後のエントロピーの差と定義される。
2. 統計力学的には、系が取りうる状態の数の自然対数?にボルツマン定数?をかけた量。
3. 情報科学的には情報量?と同義。単位はビット?になる。
たとえば情報量の計算では、確率 P で起こる事象に関する情報量は-log_2 Pビットと計算される。確率 1/8 で起こることなら 3bit、など。稀な事象が起こったという情報ほど情報としての重要性が大きいと言うこと。たとえば「今日は中央線が人身事故のため遅れています」という情報はよくあることなので情報量が低い。しかし「阪神が日本シリーズで優勝した」という情報は稀なことなので情報量が多い。
なぜ -Log Pなのかというと、例えば「中央線が止まってて、阪神が日本シリーズで優勝した」という情報の情報量はそれぞれの情報量の和になるが、そういう事が起こる確率はこの場合二つの事象がほぼ独立と考えられるので、中央線が止まる確率Paと阪神優勝の確率Pbの積 Pa Pbとなる。log (Pa Pb) = log Pa + log Pb となるので、Log ならばちゃんと二つの情報量の和になることが分かる。
＝＝＝＝＝＝＝＝＝＝＝＝
＊IT用語辞典では：
情報エントロピー 【information entropy】
読み方 ： ジョウホウエントロピー
物理学のエントロピーの概念を、情報量の定義指標として情報理論に導入したもの。情報科学の祖と言われる Claude E. Shannon (クロード・シャノン)氏が1948年に考案した理論の一部で、その後の情報科学の発展に大きく寄与した。
物理学のエントロピーは「乱雑さ」とも訳され、物質やエネルギーの局在(偏り)の度合いを表す。例えば、水の入ったコップにインクをたらすと、最初はインクの分子は水の中のある部分に「もや」のようにかたまっている。これが「エントロピーの低い状態」である。しかし、時間の経過とともにインクはコップ全体に行き渡り、やがで均一な色になる。この状態が「エントロピーの高い状態」である。自然界では、エントロピーは系全体としては減少することなく、時間とともに増加を続ける。これが物理学の「熱力学第2法則」である。
情報科学の分野では、このエントロピーを「事象の不確かさ」として考え、ある情報による不確かさの減少分が、その情報の「情報量」であると考える。情報を受け取る前後の不確かさの相対値を「情報エントロピー」という。
例えば、サイコロを振ったとき、結果を見る前はどの目が出たかまったく分からないので、不確かさ「情報エントロピー」は最大である。「奇数の目が出た」という「情報」を受け取ると、「情報エントロピー」は減少する。「1の目が出た」ことを知れば、結果は一意に確定し、「情報エントロピー」は最小となる。
＝＝＝＝＝＝＝＝＝＝＝＝
以上、引用終わり。
＊一個の生卵がある。湯の中で茹で卵にされると、もう元の生卵には戻れない。
ゆで卵は例えばトーストと一緒に朝の喫茶店のモーニングサービスとして出されるだろう。（昔はこれが定番だった。）
これを食べるのは、仮にサラリーマンＡ氏。家から持って出た『日経』を、会社近くのこの喫茶店で、珈琲を飲みながら読むのを日課としている。
Ａ氏の体内に入ったゆで卵は消化されて栄養源・エネルギー源として使われ、余った分は他の不要なカス共々翌朝か更にその翌朝、Ａ氏の意思によって彼の自宅トイレに排出される。
Ａ氏は巨大団地の一住人である。団地の朝はあちこちの『マッチ箱』から「ブリブリッ！」「ビチビチッ！」の大合唱が響いて来る。巨大な量の糞尿が下水を流れる。
下水の流れる速度はちょうど人の歩く速さと思えばいいそうである。
しかし、と私はここで考え込んでしまう。汚水処理施設がしっかりしていれば、この先河川～河口～近海を窒素酸化物（？）等の汚泥で汚し尽くし、過栄養化して生態系を大きく損なうことなど有り得ないのではないか？ 役所たるものそういうことに金使えってんだ！ 馬鹿野郎！・・・事実多摩川～東京湾では自然が回復しつつあるらしい。関西の大和川は確か横浜鶴見川に次いで汚染度ワースト２だったと思う。
汚水処理施設で汚泥を燃やし、その熱で温水プールを営む。燃えカスは固めて公園等のレンガ・フラワーポットを作る。公園で憩う人々は、まさか花壇の原材料がウンコだなどとは思わない。・・・というわけで生活排水と雨水とを峻別し、雨水にはそのまま海まで直行して頂き（当然一部地中にも入って戴いて）人間が汚した分は人間自身がきれいきれいにして海に流すようにしないといけない。
養鶏場では海産物・水産物も鶏さんたちの飼料とされている。きれいな海や川から獲れたそういう餌を食べた鶏さんが、こうしてようやくＡ氏のための生卵一個をまた産んでくれるという巡り合わせとなる。人間の努力無くして生態系の円滑な循環はない。そういう時代に私たちはいる。
