教師

US2022084186
[0071] Referring back to FIG. 3, placard and sign recognition requires a predefined classification process, for which module 522 can be used.
[0054]  再度図３を参照して、プラカードおよび標識の認識には、モジュール５２２を使用することができる既定の分類プロセスが必要となる。

Thus, a training procedure can be employed to train the deep neural network (DNN) model, to identify multiple placards and signs.
つまり、複数のプラカードおよび標識を識別するために、訓練手順を採用して、ディープ・ニューラル・ネットワーク（ＤＮＮ）モデルを訓練することができる。

According to a possible implementation, the DNN will use a labelled training dataset, which references the categories of the pre-defined classes.
可能な実施態様によれば、ＤＮＮは、予め定められたクラスのカテゴリを参照する、教師データ集合(labelled training dataset)を使用する。

Preferably, the placard and sign model is updated prior to new classes being posted on the rear end of containers, rendering training a new model from scratch, unnecessary.
 好ましくは、新たなクラスがコンテナの背面端(rear end)上にポストされる前に、プラカードおよび標識モデルを更新し、新たなモデルを最初から訓練することを不要にする。

WO2019125439
[0194] Thus, teacher data for training deep learning AI module 850 may be collected by operating additive manufacturing machine 530 to build parts in the data augmentation mode represented by FIG. 39.
【０１５２】
  したがって、深層学習ＡＩモジュール８５０を訓練するための教師データは、図３９によって表されるデータ拡張モードでパーツを構築するために付加製造マシン５３０を動作させることによって集められてもよい。

As may be understood, in particular basic CNN 640 tasked with evaluating in-process build-layer images 630 may be augmented by one or more further CNNs 722 and 732 configured to evaluate images of finished parts acquired post-process as indicated by blocks 720 and 730, respectively.
特に、処理中の構築レイヤ画像６３０を評価するタスクを課された基本的なＣＮＮ６４０は、ブロック７２０及び７３０それぞれによって示すように、処理後に獲得した完成パーツの画像を評価するように構成された１つ又は複数のさらなるＣＮＮ７２２及び７３２によって拡張されてもよいということが理解され得る。

The actual images 630 may also be collected in a build layer image database 711.
実際の画像６３０はまた、構築レイヤ画像データベース７１１に集められてもよい。

US2022036140(JP)
[0259] While the conventional autoencoder may cause overfitting to the training data set,
【０１６０】
  従来のオートエンコーダでは、教師データに対する過学習が生じてしまうのに対し、

the transformation device 1001 according to the present embodiment does not refer to the training data set when learning the transformation model 1101 and, presumably, overfitting is curtailed thereby.
本実施形態の変換装置1001では、変換モデル1101の学習時には教師データを参照しないため、過学習が抑制されているものと考えられる。

US2022059226(JP)
[0045] Next, the prediction model for the classification problem of whether a subject is in a depressive state is trained by machine learning using the results of 1-1 subjects as supervisory data, the features of the quantiles, standard deviations, and correlation coefficients extracted from the biological data of each subject being an input or an input vector, and the evaluation of the existence or non-existence of depression by an expert such as a doctor for each subject being a label (S 206 ).
【００３９】
  次いで、こうして各被験者の生体データから抽出された分位数、標準偏差及び相関係数という特徴量（ｆｅａｔｕｒｅ）を入力ないし入力ベクトル、各被験者についての医師等の専門家によるうつ状態の有無（ｐｒｅｓｅｎｃｅ  ｏｒ  ａｂｓｅｎｃｅ）の評価をラベルとして、ｌ－１人の結果を教師データとして用いた機械学習により、うつ状態か否かの分類問題の推定モデルを訓練する（Ｓ２０６）。

The generated prediction model is stored in the storage unit 102 of the apparatus 100 that performs the prediction using the prediction model, or in a storage medium or storage device accessible from the apparatus 100 .
生成された推定モデルは、当該推定モデルを用いた推定を行う装置１００の記憶部１０２又は装置１００からアクセス可能な記憶媒体又は記憶装置に記憶される。

US2020356899
[0166] Any neural network of the present disclosure, such as the domain-adaptive neural network, or such as the detector, the teacher extractor or the student extractor, which will be all discussed later, may be a deep neural network (DNN), learned by any deep learning technique.
[0115] 本開示の任意のニューラルネットワーク、例えば、ドメイン適応ニューラルネットワーク、又は検出器、教師エクストラクタ、又は生徒エクストラクタはすべて後述されるが、任意の深層学習技術によって学習される深層ニューラルネットワーク（ＤＮＮ）であってもよい。

Deep learning techniques are a powerful set of techniques for learning in Neural Networks (see [19]) which is a biologically-inspired programming paradigm enabling a computer to learn from observational data.
深層学習技術はニューラルネットワークにおける学習のための強力な一連の技術であり（［１９］参照）、これはコンピュータが観察データから学習することを可能にする生物学的にインスパイアされたプログラミングパラダイム（biologically-inspired programming paradigm）である。

In image recognition, the success of DNNs is attributed to their ability to learn rich midlevel media representations as opposed to hand-designed low-level features (Zernike moments, HOG, Bag-of-Words, SIFT) used in other image categorization methods (SVM, Boosting, Random Forest).
画像認識において、ＤＮＮの成功は他の画像分類法（ＳＶＭ、Boosting、Random Forest）で使用される手で設計された低レベル特徴（Ｚｅｒｎｉｋｅモーメント、ＨＯＧ、Ｂａｇ‐ｏｆ‐Ｗｏｒｄｓ、ＳＩＦＴ）とは対照的に、豊富な中レベルメディア表現を学習する能力に起因する。

More specifically, DNNs are focused on end-to-end learning based on raw data.
より具体的には、ＤＮＮが生データに基づくエンドツーエンド学習に焦点を当てている。

In other words, they move away from feature engineering to a maximal extent possible, by accomplishing an end-to-end optimization starting with raw features and ending in labels.
言い換えれば、それらは、生の特徴で始まりラベルで終わるエンドツーエンド最適化を達成することによって、可能な最大限まで特徴エンジニアリングから離れる。

[0179] The student extractor is trained with the help of the provided S 300 teacher extractor.
[0128] 生徒エクストラクタは、提供（Ｓ３００）された教師エクストラクタの助けを借りて訓練される

The teacher extractor is a machine-learned neural network configured for outputting image representations of real scenes.
教師エクストラクタは、実シーンの画像表現を出力するように構成された機械学習ニューラルネットワークである。

In examples, this means that the teacher extractor has been learned on real scenes to output image representations the real scenes, for example by learning robust convolutional filters for real data style.
実施例では、教師エクストラクタが例えば、実データスタイルのためのロバストな畳み込みフィルタを学習することによって、実シーン上で学習されて、実シーンの画像表現を出力するという手段がある。

Layers of neurons of the teacher extractor typically encode the representation of a real image to be outputted.
教師エクストラクタのニューロンの層は、典型的には出力されるべき実画像の表現を符号化する。

The teacher extractor may have been learned on any dataset of real scenes, e.g. available from open source, and by any machine-learning technique.
教師エクストラクタは、例えばオープンソースから利用可能な現実シーンの任意のデータセット上で、及び任意の機械学習技術によって学習されていてもよい。

Providing S 300 the teacher extractor may comprise accessing a database where the teacher extractor has been stored after its leaning and retrieving the teacher extractor from the database.
教師エクストラクタを提供するステップＳ３００は、教師エクストラクタが学習した後に格納されているデータベースにアクセスするステップと、データベースから教師エクストラクタを検索するステップとを含むことができる。

It is to be understood that teacher extractor may be already available, i.e. the domain-adaptive learning method may not comprise the learning of the teacher extractor by only the providing S 300 of the already available teacher extractor.
教師エクストラクタは既に利用可能であってもよく、すなわち、ドメイン適応学習方法は、既に利用可能な教師エクストラクタを提供するステップＳ３００のみによる教師エクストラクタの学習を含まなくてもよいことを理解されたい。

Alternatively, the domain-adaptive learning method may comprise, before the providing S 300 of the teacher extractor, the learning of the teacher extractor, by any machine-learning technique.
あるいは、ドメイン適応学習方法が教師エクストラクタを提供するステップＳ３００の前に、任意の機械学習技術による教師エクストラクタの学習を含むことができる。

US2021034985
[0001] The present disclosure, generally, relates to machine learning, more particularly, to a computer-implemented method, a computer system and a computer program product for unifying models having respective sets of target classes.
【０００１】
  本開示は、一般に、機械学習に関し、より詳細には、それぞれのターゲット・クラスの集合を有するモデルを統合するためのコンピュータ実装方法、コンピュータ・システム、およびコンピュータ・プログラム製品に関する。

[0002] The success of the machine learning in classification tasks has been largely enabled by the availability of big datasets.
【背景技術】
【０００２】
  分類タスクにおける機械学習の成功は、主に、大きいデータセットの可用性によって実現した。

Having more training data helps to improve accuracy of the classification tasks.
より多くの訓練データを有することは、分類タスクの正確度を高めるのに役立つ。

As the technology becomes more pervasive, data collection is transitioning towards more distributed settings where the data is sourced from multiple entities and then combined to train a classifier in a central node.
技術が普及するにつれて、データ収集は、データが複数のエンティティから提供され、次いで中央ノードで分類器を訓練するために組み合わされるという、より分散された環境へと移行している。

[0003] However, in many cases, transfer of data between entities is limited due to privacy concerns, or resource restrictions such as network resources.
【０００３】
  しかしながら、多くの場合、エンティティ間のデータの転送は、プライバシーの懸念またはネットワーク・リソースなどのリソースの制約により制限される。

In addition, each data source may not be able to collect sufficient training data of all target classes due to different data availability.
また、データの可用性が異なるため、各データ・ソースがすべてのターゲット・クラスの訓練データを十分に収集できない場合がある。

These limitations hamper the unification of knowledge from different sources.
これらの制限は、様々なソースからの知識の統合を妨げる。

[0004] This situation has led to multiple works that propose to learn classifiers without directly sharing data.
【０００４】
  こうした状況は、データを直接共有せずに分類器を学習することを提案する複数の研究につながった。

Such works include distributed optimization, consensus based training, federated learning, knowledge distillation, and data-free knowledge distillation for deep neural networks.
このような研究には、分散最適化、コンセンサス・ベースの訓練、連合学習、知識蒸留（G. E. Hintonら、「Distilling the Knowledge in a Neural Network」, In NIPS(Neural Information Processing Systems)Deep Learning and Representation Learning Workshop、2015）、ディープ・ニューラル・ネットワークのための無データ知識蒸留（R. G. Lopesら、「Data-free knowledge distillation for deep neural networks」, In NIPS workshop on learning with limited labeled data, 2017）などが含まれる。

However, these conventional approaches assume that target classes of all models are the same.
しかしながら、これらの従来の手法は、すべてのモデルのターゲット・クラスが同じであることを前提としている。

However, there are many cases where it is not possible to make every model to have the same target classes due to data availability, for example.
しかしながら、例えば、データの可用性により、すべてのモデルが同じターゲット・クラスを有するようにできない場合が多い。

 

[0034] First, with reference to a series of FIGS. 1-5,
【００２６】
  最初に、一連の図１～図５を参照して、

a computer system and a method for training a student unified model with a plurality of individual teacher models in a framework of knowledge distillation,

in which the student and the teacher models are classifiers with respective target classes and data obtained from the individual teacher classifiers is used to estimate unified soft labels for the student unified classifier, according to exemplary embodiments of the present invention, will be described.
本発明の例示的な実施形態による、生徒モデルおよび教師モデルがそれぞれのターゲット・クラスを有する分類器であり、個別の教師分類器から取得されたデータを使用して生徒統合分類器のための統合ソフト・ラベルを推定する知識蒸留のフレームワークにおいて、

複数の個別の教師モデルを用いて生徒統合モデルを訓練するためのコンピュータ・システムおよび方法について説明する。

 

[0053] The unified model training module 134 implements a learning algorithm appropriate for a corresponding architecture of the unified classifier 126 and is configured to train the unified classifier 126 by using the unified soft labels estimated for each transfer data in a supervised manner.
【００４５】
  統合モデル訓練モジュール１３４は、統合分類器１２６の対応するアーキテクチャに適した学習アルゴリズムを実装し、転送データごとに推定された統合ソフト・ラベルを使用することによって、統合分類器１２６を教師ありの方式で訓練するように構成される。

When a neural network based model is employed as the unified classifier 126 , backpropagation algorithm may be used.
統合分類器１２６としてニューラル・ネットワーク・ベースのモデルが採用される場合、逆伝播アルゴリズムが使用されてもよい。