シャノンの第一定理

超音波システム研究所

 

＊   「シャノンの第一定理」

　情報とテントロピーの関係（情報が増えるとエントロピーは減少する）

　エントロピー：無記憶情報源のシンボル当たりの平均情報量

                （情報量＊確率の総和）

　無記憶情報源＜－＞マルコフ情報源
　（その情報以前の有限個（ｍ）の情報に影響される

 　情報源：ｍ重マルコフ情報源）

　情報と確率過程の関係－＞エルゴード的

      －＞確立の再定義－＞統計処理－＞・・