ギブスサンプリング

US2019164627
[0207] FIG. 7A is a diagram of an example process for determining parameters by fitting a Bayesian hierarchical model 225 according to one embodiment.
【０２０９】
  図７Ａは、一実施形態に従った、ベイズ階層モデル２２５をフィッティングすることによってパラメータを決定するための、例示的なプロセスの図である。

To train a model, the machine learning engine 220 samples iteratively from a posterior distribution of expected noise rates (e.g., the graph shown in FIG. 6B) for each position of a set of positions.
モデルをトレーニングするために、機械学習エンジン２２０は、位置のセットの各位置についての予想されるノイズレートの事後分布（例えば、図６Ｂに示されるグラフ）から、反復的にサンプリングする。

The machine learning engine 220 may use Markov chain Monte Carlo (MCMC) methods
機械学習エンジン２２０は、サンプリングのために、マルコフ連鎖モンテカルロ（ＭＣＭＣ）法を、

for sampling, e.g., a Metropolis-Hastings (MH) algorithm,
例えば、サンプリングアルゴリズムの中でもとりわけ、メトロポリス－ヘイスティングス（ＭＨ）アルゴリズム、

custom MH algorithms, Gibbs sampling algorithm,
カスタムＭＨアルゴリズム、ギブスサンプリングアルゴリズム、

Hamiltonian mechanics-based sampling, random sampling, among other sampling algorithms.
ハミルトニアン力学ベースのサンプリング、ランダムサンプリングを使用し得る。

During Bayesian Inference training, parameters are drawn from the joint posterior distribution to iteratively update all (or some) parameters and latent variables of the model (e.g., {right arrow over (θ)}, zp , αz p ,x p , βz p ,x p , μp , etc.).
ベイズ推論トレーニング中、モデルのすべての（またはいくつかの）パラメータおよび潜在的変数（例えば、
【０２１０】
【数３１】

【０２１１】
、ｚ_p、
【０２１２】
【数３２】

【０２１３】
、
【０２１４】
【数３３】

【０２１５】
、μ_pなど）を反復的に更新するために、パラメータが、結合事後分布から取得される。

結合確率

US10922489
[0114] FIG. 14 is a graphical representation of an artificial deep neural network 1400 based on a restricted Boltzmann machine (RBM) that is trained to generate script content in the system for automated script generation and media production 200 , according to one illustrated embodiment.
【００７６】
  図１４は、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステム２００においてスクリプトコンテンツを生成するように訓練された制限付きボルツマンマシン（RBM）に基づく人工深部ニューラルネットワーク１４００のグラフィカル表現である。

As shown in FIG. 14, the artificial deep neural network 1400 comprises an input layer 1402 , one or more hidden layers 1404 and an output layer 1406 .
図１４に示すように、人工深部ニューラルネットワーク１４００は、入力層１４０２と、１つ以上の隠れ層１４０４と、出力層１４０６とを備える。

An RBM is a generative stochastic artificial neural network that can learn a probability distribution over its set of inputs.
RBMは、入力のセットにわたる確率分布を学習することができる生成確率論的（又は、generative stochastic）人工ニューラルネットワークである。

In particular, the RBM of FIG. 14, may model the joint probability of inputs at input layer 1402 and outputs at output layer 1402 , represented as P(x, y, θ), to generate script content.
特に、図１４のRBMはスクリプトコンテンツを生成するために、P（x、y、θ）として表される、入力レイヤ１４０２における入力と出力レイヤ１４０２における出力との結合確率をモデル化することができる。

In particular, the artificial deep neural network 1400 may be used by the system for automated script generation and media production 200 to determine the probability distribution that gives the probability that each of x and y, representing entities extracted from scripts, falls in any particular range or discrete set of values represented by θ.
具体的には人工深部ニューラルネットワーク１４００がスクリプトから抽出されたエンティティを表すxおよびyのそれぞれが、θによって表される値の任意の特定の範囲または離散セットに入る確率を与える確率分布を決定するために、自動化されたスクリプト生成およびメディア制作のためのシステム２００によって使用され得る。

The artificial deep neural network 1400 of the system for automated script generation and media production 200 may also be trained on an annotated data set to extract a number of key entities and a number of key relationships that appear in the narrative.
自動化されたスクリプト生成およびメディア制作のためのシステム２００の人工深部ニューラルネットワーク１４００はまた、アノテーションを付されたデータセット上で訓練されて、物語に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出することができる。

In particular, the artificial deep neural network 1400 may use machine learning wherein（＊=in which, such that(?)）the data set used for training may be a set of labeled or annotated scripts used as training examples.
具体的には人工深部ニューラルネットワーク１４００が機械学習を使用することができ、訓練に使用されるデータセットは訓練例として使用されるラベル付きスクリプトまたはアノテーションを付されたスクリプトのセットとすることができる。

The system for automated script generation and media production 200 may provide functionality for annotating such scripts for training purposes in machine learning.
自動化されたスクリプト生成およびメディア制作のためのシステム２００は機械学習における訓練目的のために、このようなスクリプトにアノテーションを付けるための機能性を提供し得る。

US8204838
[0051] The graph representation has the advantage of clearly revealing conditional independence between variables, which is important for computing the marginal posterior distributions efficiently. 
【００５３】
  グラフ表現は、変数間の条件付き独立性を明らかにする利点があり、事後分布の周辺を効率的に計算するのに重要である。

FIG. 8 shows the factor graph representation of a slice of the directed graph in FIG. 7 for a single datapoint indexed by i.
図８は、ｉのインデックスが付いた単一のデータポイントに対する、図７の一部（a slice）の有向グラフの因子グラフ表現を示す。

Factor graphs are bipartite graphs that represent joint probability distributions by means of variable nodes (circles) 801 , 803 connected to factor nodes (shaded squares) 800 , 802 .
因子グラフは、二部グラフであり、因子ノード（影付き四角形）８００、８０２につながれた変数ノード（円形）８０１、８０３による結合確率分布を表す。

Factor nodes express the functional relation among the variables connected to them, and the product of all factors corresponds to the joint probability distribution.
因子ノードは、そのノードにつながれた変数における関数関係を表し、すべての因子の積（product）は、結合確率分布に対応する。

Marginal distributions are obtained by computing messages from factor nodes to variable nodes:
周辺分布は、因子ノードから変数ノードへのメッセージを計算することによって得られる：

the marginal distribution of any given variable nodes is the product of its incoming messages.
所与の変数ノードの周辺分布は、そのノードの入力メッセージ（incoming messages）の積である。

Inference in factor graphs is thus known as message passing which is described in detail in Bishop, C. M. “Pattern Recognition and Machine Learning” Springer 2006 which is incorporated herein by reference in its entirety.
因子グラフの推論は、メッセージの受け渡しとして知られ、それについては、非特許文献１で詳細に記載されており、そのすべては参照によって本明細書に組み込まれる。

The representation in FIG. 8 absorbs the observed variables xid , d=1, . . . , D into the factors fid .
図８の表現では、観測された変数ｘ_id，ｄ＝１，・・・，Ｄを因子ｆ_idに吸収（absorb）する。

The marginals of the cluster assignment probabilities
メッセージの受け渡しによって得られるクラスタ割り当て

{right arrow over (π)} and of the keyword subscription probabilities tid obtained by message passing are thus the posterior distributions desired.【００５４】

【００５５】
の周辺確率および契約キーワードの周辺確率ｔ_idは、事後分布が望ましい。

ベイズ推論

US2020145765
Inference and Learning by Message Passing
【００７２】
  メッセージパッシングによる推論及び学習

[0089] The agent's model 30 specifies constraint(s) between observed variables xt , yt , rt , (unobserved) future observations r>t , interventional variables (actions, trials) θt , and hidden (unobserved) state variables st (n) , θt (n) , ut (m) , ψt (m) .
エージェントのモデル３０は、観測済み変数ｘ_ｔ、ｙ_ｔ、ｒ_ｔ、（未観測の）未来の観測ｒ_＞ｔ、介入変数（動作、試行）θ_ｔ、及び、隠れた（未観測）状態変数ｓ_ｔ^（ｎ）、θ_ｔ^（ｎ）、ｕ_ｔ^（ｍ）、ψ_ｔ^（ｍ）、の間の制約を特定する。

In order to simplify the notation for inference and learning, the variables are grouped at time step t into a set of observed variables dt ={xt , yt , rt } and unobserved variables zt ={st (n) , θt (n) , ut (m) , ψt (m) , θt , r>t }.
推論及び学習の表記を単純化するために、変数は、時間ステップｔにおいて、観測済み変数ｄ_ｔ＝｛ｘ_ｔ，ｙ_ｔ，ｒ_ｔ｝及び未観測の変数ｚ_ｔ＝｛ｓ_ｔ^（ｎ），θ_ｔ^（ｎ），ｕ_ｔ^（ｍ），ψ_ｔ^（ｍ），θ_ｔ，ｒ_＞ｔ｝のセットに分類される。

Technically, tuning parameters and hyperparameters of the model 30 should be added to the set of unobserved variables (zt ).
理論的には、モデル３０の同調パラメータ及びハイパーパラメータは未観測の変数（ｚ_ｔ）のセットに追加されるべきである。

The agent 30 has only one goal: do Bayesian inference for the unobserved variables (including inference for its actions), given the observed variables and given the model assumptions.
エージェント８は、観測済み変数が与えられ、モデルの仮定が与えられると、未観測の変数（その動作の推論を含む）のベイズ推論を行うというただ１つの目的を有する。

This is in general an intractable problem. In a Forney-style Factor Graph framework, Bayesian inference can be approximated by message passing algorithms.
これは一般に扱いにくい問題である。フォーニー式因子グラフ（Ｆｏｒｎｅｙ－ｓｔｙｌｅ  Ｆａｃｔｏｒ  Ｇｒａｐｈ）のフレームワークでは、ベイズ推論はメッセージパッシングアルゴリズムによって近似され得る。

Examples of message passing algorithms for FFGs include belief propagation, variational message passing and expectation propagation.
ＦＦＧのメッセージパッシングアルゴリズムの例としては、確率伝搬法、変分メッセージパッシング及び期待値伝搬法が挙げられる。

Variational message passing is a message passing implementation of Variational Inference.
変分メッセージパッシングは、変分推論のメッセージパッシングの実施態様である。

In variational inference, a so-called Free Energy Functional F is defined:
変分推論では、いわゆる自由エネルギー関数Ｆが定義される。

EP0912932
As depicted in the Bayesian network, the Primary Assistance Needed node 213
【０１０４】
  ベイズネットワークに示すように一次支援必要ノード２１３は、

influences a set of observed modeled events, such as selecting a graphical object Z, then pausing for more than some predefined period of time (Sel Z Pause 2 215), or modifying an object and then performing an undo, (Z Cmd Undo 216).
図形オブジェクトＺを選択した後所定期間作業が中断する（Sel Z Pause 215）やオブジェクトを修正した後にアンドゥを行う（Z Cmd Undo 216）といった一連のモデル化イベントが観測された場合にそれらのイベントに影響を与える。

At run time, these modeled events are detected and passed to the Inference System 76 by the Event Processor 74.
実行時には、これらのモデル化イベントは検出されたあとイベントプロセッサ７４により推論システム７６へ送られる。

The corresponding observable variables to the modeled events are update and Bayesian inference is performed to update the probabilities over all of the unobserved variables in the system, including the Primary Assistance Needed variable 213.
これらのモデル化イベントに対応する観測可能な変数を更新し、ベイズ推論を行って一次支援必要変数２１３をはじめとするシステム内の非観測変数の全体の確率を更新する。イベントの時刻は記録する。

The time of the event is noted and as the event flows progressively into the past, temporal reasoning procedures 167 are applied to update the probabilistic relationships in the network.
イベント発生から時間が経過すると、時間推論手順１６７を実行してネットワーク内の確率論的関係を更新する。

WO2018017767
[0094] Such an example model, e.g. , as described in connection with FIG. 6,
【００７８】
  たとえば図6に関して説明されているような、そのような例示的なモデルは、

enables Bayesian inference of the shape of an individual's decision boundary based on the response times and correctness of a sequence of decisions.
一連の決定の応答時間および正確さに基づき個人の決定境界の形状のベイズ推論を可能にする。

In a non-limiting example, a metric can be derived characterizing a degree of impulsiveness of the individual's response strategy based on the area of this decision boundary compared with the area of the "ideal" decision boundary (the response deadline times the full width of the belief axis).
非限定的な一例において、「理想的な」決定境界の面積(応答デッドライン×信念軸の全幅)と比較してこの決定境界の面積に基づき個人の応答戦略の衝動性の程度を特徴付けるメトリックが導出され得る。

機械学習、文章解析、トピックモデル、ディリクレ配分、Latent Dirichlet Allocation

ディリクレ：ディリシュレイ

トピックに割り当てる、割当：assign, assignment

潜在トピック：latent topic

 

LDAの生成過程（トピックモデル）

トピックモデルの派生形「SLDA」でレビュー解析