赤池 ボルツマンのエントロピー

赤池 ボルツマンのエントロピー

「情報量」I(p;q)：ボルツマンのエントロピーの議論に原始的な形で登場

赤池　負のエントロピー　OR　負エントロピー

[参考] －I(q; p)は負のエントロピーと呼ばれる．
　　　　↑
上記正しくは、I(q; p)は負のエントロピーと呼ばれる．ではないでしょうか？

　　　　-------------

真の分布と予想された分布との距離は以下の式で測ります．
　　(5.1)
式(5.1) は以下の性質を満足します．

1. I(g : f ) ≥ 0
2. I(g : f ) = 0, g, f が完全に一致するとき

このことから，I(g : f ) がゼロに近いほど，両方の分布の距離が近いことになります．

式(5.1) で定義される量をカルバック-ライブラー情報量（Kullback-Leibler Quantity of Information 以下K-L 情報量と書きます）と呼びます．あるいは符号を変えた量
　　(5.2)
を（負の）エントロピーと呼びます．
　　　　　　　　　　　↑
（引用者注：上記Ｂ「（負の）エントロピー」は、下記の「－Ｉ （ｇ ：ｆ ）」と同じはずなので、竹中淑子に従えば、「ボルツマンのエントロピー」となる。
Ｉ＝－Ｂ　なので、Ｉ　は、「ボルツマンの負のエントロピー」となる。）

http://raycy.seesaa.net/article/11233584.html
数学からの7つのトピックス　竹中 淑子 (著)

ＫＬ‐情報量Ｉ （ｇ ：ｆ ）の符号を変えたもの－Ｉ （ｇ ：ｆ ）がボルツマンのエントロピーといわれるものである

http://raycy.seesaa.net/article/13519965.html
赤池弘次　統計とエントロピ-

ボルツマン・エントロピー（Ｐ．5）

http://raycy.seesaa.net/article/12193067.html
松縄規　エントロピ・情報・統計

古典力学に於るエントロピとの対応を持つＳ_BあるいはＳ_Gに於て通常意味を持つのはそれら自身の値ではなく，異なる状態あるいは異なる分布に対するＳ_BあるいはＳ_Gの差である．（引用者補記。ここでＳ_BあるいはＳ_Gの差の量の肩に「*」を付す）その観点からするとＳ_B^*あるいはＳ_G^*はより実用的で広範囲な応用を持つ量であると言える．（5.14）からＳ_B自身が適当な条件下でＳ_B^*に比例しているから，Ｋ‐Ｌ情報量が時には負のエントロピ（より正確にはf　のｇ　に関する負のエントロピ）と呼ばれるのも納得できる．(P.227)