Bayesian probabilities(Bayes確率)の初歩のまとめ用の翻訳．
(訂正)不確定さを量化する確率<- 定性的な確率
*対象が区別がつかないのだから，選びうるのは，一つ取るか、２つ取るか，...., N個取るかのいずれかだが(だからN通り)，そのうちの一つが選ばれれば，次の小部屋への割り当てで選べるのはN-1通りだから，という感じなのだろう．必要な部屋数は変わるわけだから．N個が選ばれれば，他のは0だが，n1 + n2 + ... + ni=N+0+... + 0=Nという感じだろうか．n1=Nの一通りしかなくなるから．n1=N-1ならn2=1等々，n1=N-2なら，n2=1かn2=2かだが，区別のつかない対象だから，選べるのは，n2ではN-1個から何個ずつとるかの区別だけだから．な，筈である．区別のつかない素粒子か，というイメージにつながるのだろう．
* 訂正： (1.98)式の右辺のp(x_i) ln (x_i)---> p(x_i) ln p(x_i)
情報をcomputerで扱うためのトレーニングアルゴリズム?
(中略) base changeとか？
*（訂正）w^(1)_{j0}は偏りパラメータ
* propagationには，伝染，遺伝，普及などの訳がある．「伝播」とか「直進性」という訳もある．
拾い読みなので，興味の赴くまま，訳しながら，引用するということにする．ランダム極まりないことになりかねないが，手がかりにはなるはずである，と思って作業を進める．
集合類の構成とか，解析的延長とか，多様体の変形とか，テクニカルに対象を構成して，その対象を指向しながら，関連を探り当てるような手法に繋がっていくのだろうか．object指向とか．
参考までに，対数は自然対数として，y=e^{log x}=exp(log x)なら，y=xとか．y=xが，分布の指数族から，feedforward networkに至る．
こういうあたり，文系オヤジには，理系は，粘り強い感じに感じられる．幻に現れる女神と沈鬱した老人が，実は，同じ人物なんてことは，避けたいのだが，思いがけないドラマの結末のような，意外性はないものなのだろうか．例えば，
(1) 細胞のリプログラミング，エピジェネティックス
(2) 反物質と重力波
(3) 日本国憲法の改憲問題
etc. etc.
『岩波数学辞典』で，活性変数とか活性因子とか眺めながら，ふと，連想した．改憲問題は異質だが，例えば，国連の実力構成に寄与するとか，理屈では言いやすい前提を盾に取る議論が多いが，裏付けとなる情報は皆無ではなかろうか．改憲論自体が，言葉遊びの感がある理由の一つは，情報不足ということもあるのだろう．改憲論ヒステリーのような感じさえ受けることがあるのだが，この国が不幸な将来を招かないことを祈るしかないが，国民の決断という面も伴うのだから，準備もいるだろう．メディアや政治家は，器が足りんたりんだから，そういうのよりはマシな冷静に客観的な判断をへて，変えるなら変える決断をしてほしいものである．朝鮮半島問題でも日本は蚊帳の外で，アメリカもEUも中国，ロシアも，日本に情報提供しないから，メディアもなんか精彩ないなんて言っている反面で，日本は世界の重要な意思決定に答えなければいけないから，というのも，論理破綻してないだろうか．くだけた話なのだが，改憲論の論調が，どっかうわずっぱりで，改憲裏業者の受け子ぽい論者が多いような感じがする．
財務次官だったか，マスメディアのハニートラップにかかったとかいうことで騒ぎがあったらしいが，若い女性アイドルなら，ハニーしてほしい立場の私に言わせれば(絶対ありえないから)，例えば，ハニーじゃなくて，朝日が，札束をハニーちゃんに運ばせるという場合なら，#me, tooでも，感じ全然変わっているだろうし，そんなことも知らないようじゃ，業界じゃもぐりよと，軽蔑されるかも知れない．メディア業界のウミが，女性の人権や女性への性的暴力という言葉に，安易なメディア言葉にすり替わっている危険も，払拭されないではないか．言葉を飾るのは安易な事だが，メディアが自分たちのウミをさらけたら，中朝闇メディアの現金漬け裏社会の実態が出てくるかも知れないから，メディアは，当然，うやむやにしたいわけなのだろう．こういうことを言うと，メディア側は，メディア嫌いのおかしいやつの言い分というだろうが，例えば，告発した女性記者が「進」なんとかさんなのか，どういう顔かなってのは，私はあらためて調べてもいないが，世間には，猟奇的なYoutuberのようなのもいるから，とマスメディアが，言い訳するのも，メディアの奢りの裏返しではないだろうか．中朝メディア闇金に関係してるのは，朝日のPとか明らかにすれば，告発した女性への誹謗中傷も心配なくなるのではなかろうか．最近，自分の不都合は他人事，都合のいいことは何でも自分ごと，とすり替える論調が横行しているのは，すり替えモンスター気取りのが，マスメディアで幅を利かせているのだろうか？
私は，メディア嫌いではなく，メディアで自惚れている奴らが，胡散臭いと言っているだけであって，そういう奢ったメディア人が、直接，利に結びつくのが，中朝闇メディアのゲンナマではないかと，推理しているわけである．愛はあるけど，お金に負けた，なんてのは，昭和枯れすすきの世界かも知れないが，お金に負けたけど，愛は別よと言うのは，風俗の世界?
情報というのは，その情報を得ることで，(その状況に関する)知識の不確かさがどれだけ減少するかを，客観的に評価しようというものだが，政権側は，そのような情報を必要とするという言い分で，JapaOjo#Me,too(こんなところないが，#me, too便乗のような連中)は，セクハラ自体が犯罪であるという主張なのだろうが，セクハラ犯罪の認定でも，情報の必要は変わらないというのは，当然と言えば当然だが，そこらが，やや感情的なベールで装われて，結局，問題の不確かさを隠蔽する共謀を成立させるか，成立させないかの攻防というものになる．今の所，野党側の追及が，隠蔽の共謀を目論んでいるように見えるところに，野党は，パフォーマンスのためにやっているのじゃないかという批判が生じるのだろう．文春とか，新潮とか，活字離れの中で，ますます，中朝裏メディアの闇ゲンナマにのめり込んでいるヤンチャメディアかも知れないし，じゃうちもと，朝日などの大手が追従なんて，疑いは，野党が情報提供すれば，そういう批判も少しは減少するのではないだろうか？その場合，どれだけの情報量が必要になるか，ビットしてはじき出してもいいのじゃなかろうか．ケミストリーもクァンタムにケミストリーする時代だから，意味はあるのじゃないだろうか．クァンタムにケミストリーなんてカタカナ言葉で言ってしまったが，量子化学とか量子生物学とか，そういう感じで．Informationとケミストリーてのもあるだろうし．(情報理論については，私はざっと読み段階だが，甘利俊一書『情報理論』，ちくま学芸文庫，参照) ．ちょっと引っかかっていることがあるのだが，相関の漸近的自由性が，無限を有限化してつなぐと考えたら，多元宇宙論になるのだろうか？ 情報エルゴード理論と多元宇宙論とか，ありそうな気がする．相関の発散が生じるわけだから，エルゴード性が質を担うという感じにはならないのだろうか．
『数学辞典』の情報幾何学の項目をみると，確率分布空間からアインシュタイン方程式を導く話に見えたりする．それにしても，アルファベットのa, b, c, dなどが，α-接続とかB関数とか，そういう概念が目まぐるしく往来しながら，「知る」という人間の状態や行動の傍らで，同伴している，道連れのような幻像を結ぶというのは，a, b, c, d, ... が受肉しながら，世界を構成している，生成の現場を生きているようで面白いのだが，イロハニホヘトでもアイウエオでも，通じるような活動は，日本人もしているわけだから，そこらは，abcとイロハの共通項かも知れない．ここで，演歌の「みちづれ」とかカラオケ歌うと，昭和オヤジになれるのである．暗号も，確率的に，射出され転送され復元されるのだろうし，巨大加速器での実験も，基本，確率的な装置に依存するという形で行われるのだろうから，男女の道連れも，基本，不確定さの上に成り立っているのだろう．演歌で，量子するである．「セクハラよ」と言われるのがオチかもしれないが．昭和風に言うと，「公害よ」とまで言われるかもしれない．
経済でも，ベイジアン経済連関表とか，ケネーの経済表の現代版のような感じで，まとまった形では聞いたことないが，ポートフォリオがどうたら，資産持ちの悩み話ぽい話は流行るが，別に悪いとは言わないが，やや作り話的話題づくりな感じのが多い感じの話ばかりで，経済学者は，ケネーの経済表のよなものを作ろうというような，そういう探求は断念しているらしいが，AIは断念しないかもしれない．深層学習など応用とかやって行くうちには，こういう問題にも出くわすかもしれないから，メモっておこうというわけである．
甘利著『情報理論』から，
多分，こういう例から含蓄深く読み込むことが，人間の学習なのだろう．茶化しているわけではなく，重要な応用にも繋がっていく考え方が，示されているのだろうという意味である．`The amount of information can be viewed as the `degree of surprise' on learning the value of x.' (情報の量とは，xの値を知ったときの「意外さ(驚き)の度合い」であるということもできる．) サイコロを振って，そのサイコロは1の目しか出ないことを予め知っていれば，出た目がなんであるか知っても，驚きもしないが，等しく1/6の等確率なら，出た目を知ったときの驚きは最大である，という感じだろうか．状況の不確定度を示す量がエントロピーHだから，情報を得ることで，エントロピーHがH'に変わったとき，H−H'=IとしたIが，その情報の持つ情報量と定義される，というわけだから．
当然，このようなことは，確率論でも情報理論でも，初歩の初歩のようなことなのだろうが，意外と，おざなり感が強い世相である．一挙に，細胞のリプログラミングとか，多元宇宙論論とかにいくには，ギャップが大きいのだろうが，どっかのカルトの潜伏勢力の虚勢が強い世の中で，何をどう議論したいのか不明感の強い話題が多い気がする．しかも，それ以外には，客が寄り付かないというので，それを取り繕う．私のように，内実のある話だけが欲しいのだという立場の者には，わけわからない状況である．相当ずれた論評が，カルト仲間のかばいあいのように，弁護に余念がない．裏芸能ネタの方がまだ可愛げがある．ウソかもしれないが，嘘を楽しむ余地がまだ残っているから．芸能人の夜の相関図が，実は，芸能人の話題を借りた，ヤクザの縄張り争いだったなんてことなら，嘘を楽しむことより，政財界にそういう縄張り争い便乗のドン臭いのが裏でメチャクチャやっているんじゃないかという，楽しみが生じる．別に，利に預かれるわけじゃないが，話題を楽しめる．例えば，自民の総裁選で，小泉が，ああしっかりした感じを売りにしているのは，母親の影響より，小泉父の夜の二号さんの影響が大きい，なんて言ったら，名誉毀損とか，侮辱罪とかだろうか．小泉父の反社会性を，小泉息子が反面教師にしているのだろうか．ウソかもしれないが，話題性は抜群にならないだろうか．ウソよ! 影響の大きいのは3号の私の方よと，ドロドロの論争が続くとか．ほんとどうでもいいけど，世間騒ぐなら仕方ないと，眺めているのも一法だろう．小泉父でなく私がそういう立場なら，背筋に冷や汗が，そして，暗雲が…
*the marrow of A--- Aの核心，(例)リビア方式の精髄は~だから，へは，それに沿った(別な)核心をみきわめて，対応する．「アメリカ大統領の英語」とかの資料にはなりそうである．英語の聞き取りは，全く自信ないが，最近，トランプ大統領が「リビア マロウ」と言っている部分が，やたら報道されているから．当然，リビア・マロウがどういうことであって，北朝鮮・マロウがどういうことなのかの，信頼のおける情報がなければ，それだけでは判断しにくいが，リビア方式否定，体制保証・核保有容認，拉致や人権問題への不介入とバーターということになるのか，段階的ということにして，決定的な武力行使の容認ということになるのか，決めつけられないという感じだが，英語が母国語の人には，ニュアンスとしては，どっちの方が強いのだろう．日本の報道と，全然違った内容になっているようなことはないのだろうか．北朝鮮もアメリカに寄り添えば，中露との関係が微妙になるとかは，影響ないことなのだろうか．米と中露とはどういう話になっているのだろうかとか，そうホントのことを聞き知っている報道関係者もいるのだろうか，そういう疑問は棚上げだろうか．決めつけ判断を留保したからといって，北の工作員もどき論者かアメリカの使える核のための工作員論者なのか，どちらかというわけでもないのではないか．どっちも，それ自身ヤバイという立場もあるわけだから．
* 5月24日米朝会談の中止というニュースがあり，googleとかYahooから記事を読んでいたら，rhetoric(レトリック)とかset-back(後退とか痛手)という英語が出ていた．論理的に冗長性が保たれるように，feedbackを備えるシステムに移行するとかの暗示という解釈は，どうなんだろう．機械学習や深層学習の教科書にも書いてある概念にニュアンスが似ているから．国際政治的には，軍事的手段が発動するかもしれないというイメージが強まるという感じだろうが，感性を研ぎ澄まして，創意決断を導き出すことも必要なのだろう．正確な，詳しい話は，深層学習などの専門家に聞いてみたらいいのではないだろうか．重要な問題であることには変わりないのだから．rhetoricを並び替えるとtheoreticぽくなるとか，retが余分とか．
例えば，夢や幻に，古代の思想家のように沈鬱な老人と女神のようなオーラの若い女性が，同時に現れたら，この二人は，なんらかの関係のある人たちなのだろうと思う．しかし，じゃ，どういう関係と改めて見てみると，どういう関係なのかさっぱりわからない．もし，「お二人はどういう関係ですか」と訊いたら，「うん，全然知らない」と答えられたとしたら，祖父とか孫娘とか，師匠とかその若い弟子とかはなさそうだが，どうも引っかかる．愛人でもないだろうから，一体どういう関係で，一緒に，現れたのだろうという疑念が，消えずに残る．私も，一度，そういう幻を見たことがあって，その関係を突き止めることが，長い間の，私の人生の宿題のようになっている．まあ，親父やお袋の若い頃とか，そんな幻影なんてことであれば，気持ち良くないので，「あ〜，そう」で済ませられるのだが．しかし，関係を突き止めるといっても，手がかりとなるのは，前後の，相関の乏しい映像ぐらいしかないが，そこから，どうやって，なんらかの関係を導き出せるだろうか? 各映像から，それ以上分割できないような文脈のようなものを切り取って，それらの文脈が，老人と女神の出現に寄与するような分布を探り当てるとか，そういう感じになるのだろうか．構造方程式モデリング(SEM)という統計的手法もあるようだが，どっか似ている気がする．人物の幻は，とっぴもないところで現れやすそうだから，各文脈からの誤差を含む道筋を修正して，関係的な二つの幻像として現れるものなのだろうか．
基本は，
ということなのだろう．パス(道)の頑健性とか安定性とか，そういう性質がないときはどうするのかとか，女神と謎問答してみたかった悔いが残る．パスは道というより重回帰モデルのことらしいが．思想家のような老人の方は，なぜかゼロになってもらって，もっぱら若い女性の方だけを，文脈に位置付けるという，恣意が働いてしまうことにも，意外な意味があるのだろうか．線型結合を作る関数(基底関数、basis function)とか，多層レイヤーとか, feedforward networkとか．
確率論などの基礎は，同じようなことなので，以前まとめたものをコピペですませようと思う．ややこしい方がありがたみが感じられるが，基礎としては簡明な方がいいので，そういう意味では，いい本ではなかろうか．深層学習も，確率論や情報理論などをどう組み合わせたり応用したり新解釈を加えたりしているのか，簡明な基礎事項から照射して，その実際をみて行くのも常道ではないのだろうか．というのも，ペケペケ論概論とか科学研究者のためのなんとか論とかはありがたみがあるが，ランク落ちの入門書じゃないかという気分が，若い頃あったから，同時に，情報理論やゲーム理論などの聞きなれない理論はどういうものなのか，手っ取り早く知りたいという欲求もあって買ったのだが，皮肉なことに，結構ありがたみを感じられるのは，こういう本ではないかと感じるようになったわけである．
確率論などで，どうして，現実に起こる事象が判断できるのか，という疑問には，マーフィーの法則で言われる「起こりうることは必ず起こる」と答えるのか，コンピュータを使った抽選などは，擬似乱数だから，乱数の種(シード)を変えたりして，本当の乱数に近づけるとか，確率の理論から出てくる結果は，高い確度で，現実に生じるとみて構わないとか，場面場面で，言われている．数学の式，wx^2は，xに関しては2次式(線形でない)が, wに関しては1次式(線形である)とか，もとの関数f(x)をフーリエ近似するとか，演算子法を使うとか，そういった，数学的な工夫で保証されているのだとか，答えありきで言っても，ややチンプンカンプンでケムにまかれた感じは残る．確率論や統計学，情報理論や決定理論など，相互に深く関わる理論を，見直していくという作業も，深層学習や機械学習では必要である，ということなのだろうと思うが，AIでは，それが必要だからという答えはどうだろうか．ネットニュースの「AIも錯視」にある画像を自分で見たら，回転しているように見える画像と回転してないように見える静止画像が，部分的に残像として重なれば，ひずんだ空間に見えるとか，そんな感じも見えた． AIは重力もencodeとか．
『パターン認識と機械学習』から，
統計的モデルの検査は，「統計モデルは，問題の不確実性を記述する確率分布の構造を指定することによって定義される．統計モデルがデータの解析に利用されるときには，その役割はデータの特性を測ることにある」，「統計的推論の基本的な問題は，この[観測値の真の分布として想定される分布の型に関する]制約を満足する確率分布の集まりとして定義される統計モデルとデータから，真の分布を近似する分布を作り出すことである」(岩波数学辞典)だから，そういうことに即してなされるということではなかろうか．．
「観測値xにもとづいて将来の観測値yの分布の推定としてp(y|x)を定める問題を考える．p(y|x)は一般に予測分布(predictive distribution)と呼ばれる」，「xとyが{g(y|θ)f(x|θ)；θ∈Θ}によって与えられる族に含まれる1つの分布からの標本であるものとする．... 予測分布p(y|x)を構成するための設計基準として，θの確率分布を想定する．θの分布π(θ)が与えられている統計モデルをベイズ・モデルと呼び，π(θ)は先験分布あるいは事前分布と呼ばれる」(同上)．
事前確率から事後確率にconvertするのがベイズ確率とか，それを統計的手法とともに果たすとか，ということだろうか．
次のような，簡単な確認から
x_1, ..., x_N(の和)は，可測空間を生成する統計量である(十分統計量)とか，標本平均(最尤度推定量)とか，本格的な概念との対応表を作れという感じなのだろう．
