WO2022182919(NETSKOPE INC [US])
[0005] The technology disclosed relates to cybersecurity attacks and cloud-based security, and more specifically
【０００５】
開示される技術は、サイバーセキュリティ攻撃及びクラウドベースのセキュリティに関し、より具体的には、
a system and method for preventing malware attacks where Microsoft Office Documents act as the primary vector (a way) for delivering malicious code in the form of macros and OLE objects.
Ｍｉｃｒｏｓｏｆｔ Ｏｆｆｉｃｅ文書がマクロ及びＯＬＥオブジェクトの形態で悪意のあるコードを配信するための主要なベクトル（方式）として機能するマルウェア攻撃を防止するためのシステム及び方法に関する。
In addition, the technology disclosed relates to the detection of documents that include malicious macros and/or malicious OLE objects that do not contain known signatures.
加えて、開示される技術は、既知の署名を含まない悪意のあるマクロ及び／又は悪意のあるＯＬＥオブジェクトを含む文書の検出に関する。
In the context of the technology disclosed, signatureless refers to detecting malicious macros and malicious OLE objects that do not have previously established signatures.
開示される技術の文脈では、署名なしは、以前に確立された署名を有しない悪意のあるマクロ及び悪意のあるＯＬＥオブジェクトを検出することを指す。
Furthermore, the technology disclosed uses machine learning and feature engineering
更に、開示される技術は、機械学習及び特徴量エンジニアリングを使用して、
to predict the presence of malicious macros and (without requiring) malicious OLE objects in MS Office documents and other document types, without need for (the malicious code to have been previously known.
（悪意のあるコードが以前に既知であった）ことを必要とせずに、ＭＳ Ｏｆｆｉｃｅ文書及び他の文書タイプにおける悪意のあるマクロ及び（必要とせずに）悪意のあるＯＬＥオブジェクトの存在を予測する。
////////
Machine Learning and Feature Engineering
【００６１】
[機械学習及び特徴量エンジニアリング]
[0067] The technology disclosed for machine learning and feature engineering, is shown in more detail in FIG. 3.
機械学習及び特徴量エンジニアリングのために開示される技術は、図３により詳細に示される。
[0068] Document files may include multiple macros and embedded files. For the purpose of feature extraction, all macros are considered and combined as one single entity.
【００６２】
文書ファイルは、複数のマクロ及び埋め込みファイルを含み得る。特徴抽出の目的のために、全てのマクロは、単一のエンティティとして考慮及び結合される。
Extracting macro code and embedded file info from a document (all formats), including both CFBF (Compound file Binary Format) and OpenXML.
ＣＦＢＦ（複合ファイルバイナリフォーマット）とＯｐｅｎＸＭＬの両方を含む文書（全てのフォーマット）からマクロコード及び埋め込みファイル情報を抽出する。
Features from macros and embedded OLE objects are extracted for processing by a machine learning algorithm that detects malicious code in Microsoft Office documents.
マクロ及び埋め込みＯＬＥオブジェクトからの特徴は、Ｍｉｃｒｏｓｏｆｔ Ｏｆｆｉｃｅ文書における悪意のあるコードを検出する機械学習アルゴリズムによって処理のために抽出される。
The list of features associated with the construction of feature vectors is described further on.
特徴ベクトルの構築と関連付けられる特徴のリストは、更に後述される。
[0069] FIG. 3 illustrates the training of a supervised machine learning model 312.
【００６３】
図３は、教師あり機械学習モデル３１２の訓練を例示する。
The training uses a suitable machine learning algorithm 310 such as Random Forest, Decision Tree, Linear Regression or the like.
訓練は、ランダムフォレスト、決定木、線形回帰などの好適な機械学習アルゴリズム３１０を使用する。
Alternatively, the machine learning algorithm could use a convolutional neural network, a CNN, including a deep learning structure such as Inception.
代替的に、機械学習アルゴリズムは、Ｉｎｃｅｐｔｉｏｎなどの深層学習構造を含む畳み込みニューラルネットワーク、ＣＮＮを使用することができる。
In supervised machine learning, training data includes classification labels 316.
教師あり機械学習では、訓練データは、分類ラベル３１６を含む。
Training text, documents, images 314 are used to extract features.
訓練テキスト、文書、画像３１４は、特徴を抽出するために使用される。
Ideally this sampling should be large, on the order of a million samples, to be extracted and kept in a .csv file for further machine learning (ML) processing by a data scientist.
理想的には、このサンプリングは、データサイエンティストによる更なる機械学習（ＭＬ）処理のために、抽出され、．ｃｓｖファイルに保持されるように、大規模で１００万個ほどのサンプルであるべきである。
US2022245801(ILLUMINA INC [US])
【００１８】
ＲｅｓＮｅｔ－１８及びＶＧＧ－１６ ＣＮＮモデルは、サイズ２２４×２２４ピクセルの正方形入力画像を使用し得る。
[0048] The ResNet-18 and VGG-16 CNN models can use a square input image of size 224×224 pixels.
一実施態様では、画像生成チップの区分は、上述のように１８０×８０ピクセルなどの矩形である。
In one implementation, sections of the image generating chip are rectangular such as 180×80 pixels as described above.
Larger image sizes of sections can be used.
より大きい画像サイズの区分を使用し得る。
The technology disclosed applies feature engineering to create a training data using rectangular labeled images which may be smaller than 224×224 pixels sized images required as input to CNN models.
開示される技術は、ＣＮＮモデルへの入力として必要とされる２２４×２２４ピクセルサイズの画像よりも小さい可能性がある矩形のラベル付き画像を使用して訓練データを作成するために特徴量エンジニアリングを適用する。
The technology can apply three feature engineering techniques to create the input data set including, cropping, zero padding, and reflection padding.
本技術は、クロッピング、０パディング、及び反射パディングを含む、３つの特徴量エンジニアリング技法を適用して入力データセットを作成し得る。
///////
[0078] The covariance matrix is a d×d matrix of d-dimensional space where each element represents covariance between two features.
【００４７】
共分散行列は、ｄ次元空間のｄ×ｄ行列であり、各要素が、２つの特徴間の共分散を表す。
The covariance of two features measures their tendency to vary together.
２つの特徴の共分散は、それらの一緒に変動する傾向を測定する。
The variation is the average of the squared deviation of a feature from its mean.
変動は、その平均からの特徴の二乗偏差の平均である。
Covariance is the average of the products of deviations of feature values from their means.
共分散は、それらの平均からの特徴量の偏差の積の平均である。
Consider feature k and feature j.
特徴ｋ及び特徴ｊを検討する。
Let {x(1, j), x(2, j), . . . , x(i, j)} be a set of i examples of feature j, and let {x(1, k), x(2, k), . . . , x(i, k)} be a set of i examples of feature k.
｛ｘ（１，ｊ），ｘ（２，ｊ），．．．，ｘ（ｉ，ｊ）｝を特徴ｊのｉ個の例の集合とし、｛ｘ（１，ｋ），ｘ（２，ｋ），．．．，ｘ（ｉ，ｋ）｝を特徴ｋのｉ個の例の集合とする。
US2022189070(DASSAULT SYSTEMES [FR])
[0064] The neural network involved in the methods may be a Deep Neural Network (DNN).
本方法に関与するニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ）であってもよい。
DNNs are a powerful set of techniques for learning in Neural Networks, as discussed for example in D. E. Rumelhart et. al, “Learning internal representations by error propagation, Parallel distributed processing: explorations in the microstructure of cognition ”, vol. 1: foundations, MIT Press, Cambridge, Mass., 1986, which is incorporated herein by reference.
ＤＮＮは、ニューラルネットワークにおける学習のための強力な一連の手法であり、たとえば「D. E. Rumelhart et. al., “Learning internal representations by error propagation, Parallel distributed processing： explorations in the microstructure of cognition”, vol. 1: foundations, MIT Press, Cambridge, MA, 1986」で説明されている（参照により本明細書に組み込まれる）。
DNN is a biologically-inspired programming paradigm enabling a computer to learn from observational data.
ＤＮＮは、コンピュータが観測データから学習できるようにする、生物学に着想を得たプログラミングパラダイムである。
DNNs have an ability to learn rich midlevel media representations as opposed to hand-designed low-level features (Zernike moments, HOG, Bag-of-Words, or SIFT) used in other methods (min-cut, SVM, Boosting, or Random Forest).
ＤＮＮは、他の方法（最小カット、ＳＶＭ、ブースティング、又はランダムフォレスト）で使用される手動設計の低レベルの特徴量（Ｚｅｒｎｉｋｅモーメント、ＨＯＧ、Ｂａｇ－ｏｆ－Ｗｏｒｄｓ又はＳＩＦＴ）とは対照的に、中レベルの豊富な媒体表現を学習する能力を有する。
Thereby using a DNN is particularly relevant for object detection/recognition.
そのため、ＤＮＮの使用は、オブジェクトの検出／認識に特に重要である。
More specifically, DNNs are focused on end-to-end learning based on raw data.
より具体的には、ＤＮＮは生データに基づくエンドツーエンド学習にフォーカスしている。
In other words, they move away from feature engineering to a maximal extent possible, for example by accomplishing an end-to-end optimization starting with raw features and ending in labels.
つまり、ＤＮＮは、たとえば生の特徴から始まりラベルで終わるエンドツーエンドの最適化を達成することによって、特徴量エンジニアリングから可能な限り最大限に脱却する。
US2024045414(AMGEN INC [US])
[0049] Performance of a system and process similar to the system 100 and process 200 was
【００４５】
「定置蒸気」滅菌タンクの例示的な場合について、システム１００及びプロセス２００に類似するシステム及びプロセスの性能を、
tested with about 20 different combinations of feature engineering techniques (e.g., PCA, PPCA, etc.) and classification models (e.g., SVM, decision tree, etc.), for the example case of a “steam-in-place” sterilization tank.
特徴量エンジニアリング技術（例えば、ＰＣＡ、ＰＰＣＡ、等）及び分類モデル（例えば、ＳＶＭ、決定木、等）の約２０個の異なる組合せでテストした。
The best performance for that particular use case was provided by using a PCA technique to reduce the n-dimensional data (for n features/inputs) to two dimensions, and an SVM classification model,
（ｎ個の特徴量／入力に対する）ｎ次元データを２次元に削減するためのＰＣＡ技術と、ＳＶＭ分類モデルとを使用することにより、その特定の使用ケースについて最良の性能が提供され、
which resulted in about 94% to 97% classification accuracy, depending on which data was randomly selected to serve as the testing and training datasets, and depending on the equipment under consideration.
その結果、試験及び訓練データセットとして機能させるためにどのデータがランダムに選択されたかに依存して、及び考慮中の機器に依存して、約９４％～９７％の分類精度が得られた。
Overall accuracy for a SVM classification model with PCA, across different datasets and equipment, was about 95%.
異なるデータセット及び機器にわたる、ＰＣＡを用いたＳＶＭ分類モデルについて、全体的な精度は約９５％であった。
US2023067026(DATAROBOT INC [US])
[0004] Data analytics tools are used to guide decision-making and/or to control systems in a wide variety of fields and industries, e.g., security; transportation; fraud detection; risk assessment and management; supply chain logistics; development and discovery of pharmaceuticals and diagnostic techniques; and energy management.
【０００４】
データ分析ツールは、例えば、セキュリティ、輸送、不正行為検出、リスクアセスメント及び管理、サプライチェーンロジスティクス、医薬品及び診断技術の開発及び発見、ならびにエネルギー管理といった、多種多様な分野及び産業における意思決定を導き、且つ／或いはシステムを制御するために使用される。
Historically, the processes used to develop data analytics tools suitable for carrying out specific data analytics tasks generally have been expensive and time-consuming, and often have required the expertise of highly-trained data scientists.
歴史的に、特定のデータ分析タスクを実行するのに適切なデータ分析ツールを開発するために使用されるプロセスは、概して高価で時間がかかり、しばしば高度に訓練されたデータ科学者の専門知識を必要とする。
Such processes generally includes steps of data collection, data preparation, feature engineering, model generation, and/or model deployment.
概して、そのようなプロセスは、データ収集、データ準備、特徴量エンジニアリング、モデル生成、及び／又はモデル展開のステップを含む。
//////////
[0008] In general, one innovative aspect of the subject matter described in this specification can be embodied in a method for determining an importance of an aggregate image feature,
【０００８】
概して、本明細書で説明される対象の１つの革新的な態様は、集約画像特徴量の重要度を判定するための方法において具現化されることがあり、
the method including obtaining a plurality of data samples,
方法は、複数のデータサンプルを取得することであって、
wherein each of the plurality of data samples is associated with respective values for a set of features and with a respective value for a target,
複数のデータサンプルの各々は、特徴量のセットのそれぞれの値、及びターゲットのそれぞれの値と関連付けられており、
wherein the set of features includes a feature having an aggregate image data type,
特徴量のセットは、集約画像データ型を有する特徴量を含み、
and wherein the feature having the aggregate image data type includes a plurality of features each having a constituent image data type;
集約画像データ型を有する特徴量は、各々が構成画像データ型を有する複数の特徴量を含む、取得することと；
for each of the plurality of constituent image features, determining a feature importance score indicating an expected utility of the constituent image feature for predicting the values of the target;
複数の構成画像特徴量の各々に関して、ターゲットの値を予測するための構成画像特徴量の期待効用を示す特徴量重要度スコアを判定することと；
and determining a feature importance score for the aggregate image feature based on the feature importance scores of the constituent image features,
構成画像特徴量の特徴量重要度スコアに基づいて、集約画像特徴量に対する特徴量重要度スコアを判定することであって、
wherein the feature importance score for the aggregate image feature indicates an expected utility of the aggregate image feature for predicting the values of the target.
集約画像特徴量に対する特徴量重要度スコアは、ターゲットの値を予測するための集約画像特徴量の期待効用を示す、判定することとを含む。
US11416580(INTEL CORP [US])
[0198] Deep neural networks used in deep learning
【０１７４】
ディープラーニングで使用されるディープニューラルネットワークは、
typically include a front-end network to perform feature recognition coupled to a back-end network which represents a mathematical model that can perform operations (e.g., object classification, speech recognition, etc.) based on the feature representation provided to the model.
モデルへ供給される特徴表現に基づいて動作（例えば、オブジェクト分類、発話認識、等）を実行することができる数学モデルに相当するバックエンドネットワークへ結合された、特徴認識を実行するフロントエンドモデルを通常は含む。
Deep learning enables machine learning to be performed without requiring hand crafted feature engineering to be performed for the model.
ディープラーニングは、Ｈａｎｄ－ｃｒａｆｔｅｄ特徴量エンジニアリングがモデルのために実行される必要なしに、機械学習が実行されることを可能にする。
Instead, deep neural networks can learn features based on statistical structure or correlation within the input data.
代わりに、ディープニューラルネットワークは、入力データ内の統計的構造又は相関に基づいて特徴を学習することができる。
The learned features can be provided to a mathematical model that can map detected features to an output.
学習された特徴は、検出された特徴を出力にマッピングすることができる数学モデルへ供給され得る。
The mathematical model used by the network is generally specialized for the specific task to be performed, and different models will be used to perform different task.
ネットワークによって使用される数学モデルは、一般に、特定のタスクが実行されるために特殊化され、異なるモデルは、異なるタスクを実行するために使用される。
US2022309402(NEC CORP [JP])
[0043] Further, in some embodiments, the computing device 110 may perform preprocessing, feature engineering, and/or feature selection on the plurality of training datasets to enhance the plurality of training datasets.
【００３５】
さらに、いくつかの実施形態において、コンピューティングデバイス１１０は、複数のトレーニングデータセットに対して、前処理、特徴量エンジニアリング、及び／又は特徴選択等を行うことで、複数のトレーニングデータセットを強化してもよい。
For example, during the preprocessing, the computing device 110 may obtain, based on a package name, a new feature indicating whether a package is an unlimited traffic package.
例えば、前処理のプロセスにおいて、コンピューティングデバイス１１０は、パッケージ名に基づいて、パッケージがトラフィック無制限パッケージであるか否かを示す新たな特徴を得てもよい。
For another example, the computing device 110 may obtain, based on content of a complaint, new features indicating whether the complaint is a complaint for charges, a complaint for service, a complaint for network quality, etc.
別の例示として、コンピューティングデバイス１１０は、苦情内容に基づいて、料金に対する苦情であるか、サービスに対する苦情であるか、ネットワーク品質に対する苦情であるか等を示す新たな特徴を得てもよい。
US2021150613(RAKUTEN INC [JP])
[0044] Here, the flow of the processing executed by the boost value calculating unit 23 will be described by using a data flowchart of FIG. 4.
【００３９】
ここで、ブースト値算出部２３が実行する処理の流れについて、図４のデータフロー図を用いて説明する。
The boost value calculating unit 23 inputs the contextual data (location of the target user, weather, economic indicators, and so forth) acquired by the contextual data acquiring unit 22 to the trained model.
ブースト値算出部２３は、コンテキストデータ取得部２２が取得したコンテキストデータ（対象ユーザーの位置、天候、経済指標など）を学習済みモデルに入力する。
Suppose that particularly the boost value calculating unit 23 inputs at least forecasted values of the weather (forecasted temperature and so forth of the prediction target period) to the trained model as the contextual data.
特にブースト値算出部２３は、少なくともコンテキストデータとして天候の予報値（予測対象期間の予想気温等）を学習済みモデルに対して入力するものとする。
The boost value calculating unit 23 may execute various kinds of pre-processing, such as scaling and standardization (processing of normalizing the mean and the variance of the respective parameters) and feature engineering, for numerical values of the respective parameters included in the contextual data by using a method generally known in the machine learning
なお、ブースト値算出部２３は、コンテキストデータに含まれる各パラメータの数値に対して、機械学習において一般的に知られている手法を用いてスケーリングや標準化（各パラメータの平均や分散を揃える処理）、特徴量エンジニアリングなどの各種の前処理を実行し、
and provide the input features obtained from the pre-processing to the trained model.
この前処理の結果算出される入力特徴量を学習済みモデルに入力してもよい。
By inputting the input values obtained from the contextual data to the trained model as above, the sales figure predicted value Vc of the prediction target period is calculated regarding each of plural target item groups.
このようにコンテキストデータから得られる入力値を学習済みモデルに入力することにより、複数の対象商品群のそれぞれについて、予測対象期間の販売量予測値Ｖｃが算出される。
