ウィリアムのいたずらの開発日記

ウィリアムのいたずらが、コンピューター関係について、思ったことを好き勝手に書いているブログです。

シングルショットで検出と識別のSSDとかAutoencoderと近似近傍探索で商品検索とか

2017-06-26 09:07:43 | Weblog
6月25日
【満員につき事前予約枠増枠★】Deep Learningオールスターズ2017
を聞いてきたのでメモメモ



DeepLearningオールスターズ2017

■挨拶
・名前変えた(.dotsから)
・DeepLearningオールスターズの説明
 DeepLearning部ってあるの知ってる・・・0
 部活動している:グループふぉろーしてくれれば・・
・会場利用
・ハッシュタグみてQ&Aするかも
・写真動画基本的OK:第一セッションのみX
 のちほどシェアする
・アンケート
  ここはじめてきたひと いっぱい
  職種 えんじにあ 9わり
  知見 初級 7わり 手を動かしてる 2わり じつむ 1割いないくらい

■史上初!あのチームラボがGPUを使い倒した結果
・知見を初めて公開するという意味で史上初
 →いろいろつかっている

■デジタルアートにおけるDL
・会社紹介
 Technology X Creative スタッフ400人「実験と革新」
 ・ソリューション受託開発
   次世代自動販売機、黒霧島
 ・プロダクト
   チームLabカメラ:モーションセンサー、SNS連携
   子供向けデジタルコンテンツ;お絵かき水族館
   動きに合わせた映像
   DMM六本木オフィスの会議室へお客さん案内

・DeepLearningを使ったデジタルアートの紹介
 動画:レストランでコース料理を食べる
  お皿に反応:カメラで画像認識
 →SAGAYAというレストランで運用されている
   予約すれば体験できる

・センシングのベースとなる1フレームごとに検出に
 Single Shot Multi Box Detector(SSD)を使用
 画像を1回feedForwardするだけで、検出と識別を行えて高精度かつ高速
 お皿の検出という問題に合わせたチューニングを行った
 ベースのまま使っている
 →手が乗っていても、安定して検出
 ライブラリCaffe(SSDの作者がforkしたもの)
 データセット:リリース時10000枚(4オブジェクト/マイ)
  500枚くらいをラべリング
 インフラ TITAN X 1枚で約2日→IDC,AWS P2
 30fpsでもいける
・よかったところ
 そんなに膨大な量のデータセットを用意しなくてもfine-tuning
 (転移学習)で十分な制度(ぱすかるVoC)
 料理が乗ったり手が触れたりした状況でも、精度の高い
・大変なところ
 映像、オーダーメイドの皿、コース料理、センサーシステムが同時に
 作りあがっていく過程で生じる変更によるものがほとんど
  「このお皿は使えますか?」という質問にすぐに答えられない
 →いけるっしょって賭けに出る
 学習にかかる時間
・改良したいところ
 毎月の運用:簡単に新しいお皿を登録できる仕組みの開発
 プロジェクタの映像による影響をなくす:赤外線カメラへの変更

■レコメンドパッケージにおけるDL
・課題
 チームラボレコメンドパッケージ
 独自の協調フィルタリングを利用したレコメンド
 弱点
 ログのない商品をもとにレコメンドする制度が悪い
 →強調フィルタリングのよくある弱点

・社内の論文読み界で紹介された手法
 CDL(Collaborative Deep LOearning)
 強調フィルタリングの弱点を、Matrix Factorizatuin(MF)とDNNで克服

 ざっくりいうと、MFで抽出したアイテムベクトルと
 商品情報をDNNで取り出した中間層のベクトルを近づける

・そんなにふかくなく
 Denoting Auto-Encoder

 商品→入力層→CNN2そう→中間層→CNN3そう→出力層

・CDLでよくあるECサイトのログを使用する場合
 行動データを利用するために
  暗黙的フィードバック:購買されるほど、評価がたかいとした
 商品画像に利用するために
  オートエンコーダーで次元圧縮した中間層を利用しても特徴が

・アパレルECのクリックデータ
 商品ごとの32X32画像
 説明文:動詞・名詞抜き出し

・課題
 定量的な評価
 MFの高速化:並列性能悪い、分散処理が苦手っぽい
 CDLのチューニング:性能が上がっているのかわからない
 スケールする必要 1エポック5分、10分

■クラウドGPUのメリット
 1.クラウドサービスの親和性
 2.すぐに簡単に使える
 3.従量課金

・1.クラウドサービスとの親和性
 学習Phase;クローラーVMは安くクラウドで
 推論Phase:学習PhaseのGPUが使える

・2.すぐに簡単に使える
 てすらさん使ってる
 DockerイメージをCUDA,Jupyterなどを丸ごと

・追加学習にも、1時間400円から使える
 初期費用不要

■ニューラルネットワークのその次へ
・自己紹介
・今までやってきた機械学習
 てんそるふろーがでたとき
 画像処理
  投稿写真のぶんりぃ
  超解像

・でぃーぷっていったら、にゅーらるねっとだけではない

・Deep Forest

・本題の前に
 決定木、
 ランダムフォレスト:決定木を複数使う

・DeepForest
 ランダムフォレストを多層に使う

・Multi-Grained Scanning
 N-gram 100次元
  3つとる→301インスタンス

 イメージの場合、スキャン

・キャラクターレベルCNNとの性能差を比べる
 ソフトウェアデザイン8月号
 DeepForest
 少量だとキャラクターレベルCNNよりも精度でる
 大量だと、DeepForestはメモリ大量に使う
  →MondrianForestでオンライン学習

・MondrianForest
 ランダムフォレストをオンライン学習に対応
 scikit-learnでirisで
 
→時間切れ

■DeepLearningの世界に飛び込む前の命綱
・自己紹介
深層学習による自然言語処理
・チーム紹介:chakki→15:00に帰れるように
 Github上に公開 chazutsuデータのダウンロードからpandus
 論文輪講:アーカイブタイムス
https://github.com/arXivTimes/arXivTimes

・本日のテーマ
 ディープラーニングをやる前に機械学習をやったほうがいいんじゃないの

・取り組むタスク:評判分析 極性判定 IMDB

・既存の機械学習:ナイーブベイズ
 →分類問題のベースライン
 パラメータ設定、特徴設定で
 ナイーブベイズとSVMで91%
 scikit-learn(さいきっとらーん)
 Bag of Bigramsとして、ナイーブベイズを実装
 →おなじくらいでた

・DeepLearning LSTM
 Keras(バックエンドはてんそるふろー)
 正解率80%
  →過学習している

・パラメータチューニング
 30時間
 →性能が出ない:84%が限界
  ドロップアウト0.8

・振り返り
 ベースラインにつかづけるのも難しい
 延々とパラメータ調整に取り組むことの危険性

・性能向上をどこまで行うかの目安
・うまくいかない時の保険・代替案
 →命綱を用意してDeepLearning


■ファッションアイテムにおける
・自己紹介
・会社について
  IQON

1.ファッションアイテム検索と画像認識
1.1 アイテム検索における画像認識の価値
 抜け感、ボリュームスリーブ
 →アイテムの類似度を評価する上で画像は欠かせない情報である
  辞書のメンテが要らない
1.2 ファッション分野で扱う画像
 商品画像:デザインわかりやすい、着用イメージがわきにくい
 スナップ画像:デザインがわかりくい、着用した画像
1.3ファッションアイテムの検索と深層学習
 さまざまなドメインの画像を同じアーキテクチャで
 特徴抽出の自動化
 Side-informationの利用が簡単
 モデルの学習に十分な量のデータが存在する

2.深層学習の活用事例
 Item2Item
 商品画像から商品画像:にているもの
 Autoencoder
 近似近傍探索
  入力を復元する
 学習:エンコーダー→デコーダー
 検索;エンコーダー→近傍

 Snap2Item
  SSD
  Similarity Learning
  近傍

 SSDカテゴリごとに検出できる
 類似度学習:無理やり近づける

 Item2Snap
  逆びき。実装方法は同じ

 感覚的なアイテム検索
  画像+属性(ベクトル)
   VAE
   GAN
  VAEとGANを組み合わせたモデルを利用して特徴空間を張る
   Discriminator

 IBIS2016で発表

・今後の取り組み
 感覚的なアイテム検索の高度化
 コーディネートの自動化:3点以上は成功例が少ない
・コーディネート
  評価が難しい
  データがスパース
  コンテキスト:赤文字、青文字とか
・MIRU2017で発表

■3Dデータへの深層学習の適用
・自己紹介
 ものづくりのサービス化
 3Dプリンタでカスタマイズ
 特注品:すべてが例外 労働集約型
  →例外の類型化
 VoxNetによる3Dモデル認識技術の研究開発

・VoxNetとは
 3Dデータを特定サイズのXYZ空間に写像(ボクセル化)
 3DCNN

・デモ
 過去に近い案件の類似検索
 Tensol ボード

・テクニックモデル
 転移学習:VoxNetの学習済みモデルを初期値として学習効率化
 バッチノーマライゼーション:共変量シフト環境に対応
 ランダムドロップアウト:かがくしゅうよくし
 Leakly ReLU:負方向の学習
 Biased softmax:偏った学習
・データ
 Prinston ModelNet
 Data augumentation:データにノイズ
 Data addition:学習データを増やす
 テンソルフローのねいてぃぶビルド

・しっぱいれい
 X-ray:リソース不足
 カリキュラムラーニング
  優しい問題から難しい問題へ→むずかしいってなんだよ!
  環境変化に追従するおぷてぃまいざー
 ベイズ最適化
  ハイパーパラメータのチューニング:リソース

・20%の例外 パレートの法則

・クラウドで自動化した、ブラウザで完了

・宣伝:てんそるふろーゆーざーぐるーぷ

■Chainerで知るDeepLearning
・自己紹介
・会社紹介
・テーマ
 Chainerを通して説明
・2015年4月 Chainer開発開始
・時代に合わせて進化したChainer
 手法が複雑化

・Chainer誕生
 Caffe,DL4J,Torch,theano
 できることもまだまだ少なかった
  DQN:強化学習
 一部の人しか使っていなかった
   技術力と数学の力
Chainer
  pipインストールできる

・深層学習が複雑になる
 Tensor Flowの登場:ハードルを下げた
 ぶつからない車
 ゴッホ風の絵
 女の子を作る

 使う人が増えてきた
  論文実装が増えた
 より複雑になっている

・2017年7月 フレームワーク
 Tensor Flow
 Caffe
Keras
 mxnet
 theano
 pytoarch
 CNTK
 nvidia digit
  :

・多角化するフレームワーク機能

・DeepLearningのコモディティ化
 DeepLearningはもはやソフトウェア?
  使い方

・scikit-learn簡単?

・計算環境の使用コストが安くなった
 →GPUは全然安くなっていないです

・インストールのハードルも下がった
 nvidia-docker
 azureのデータサイエンス用仮想マシン

・できることが増えた
 paints chainer
 Ponanza Chainer
 音声認識

・Chainerも進化
 リリースサイクル3か月に1回
・Cupy
 Numpyのサブセット

・用途によったライブラリ
 MN:分散処理
 RL:共通インターフェース
 CV:画像認識

・ChainerMN
 MPIとBCCLを使用した分散深層学習

・ChainerRL

・ChainerCV
 画像認識

・こみにてぃ活動も進化させたい

■Q&A

この記事をはてなブックマークに追加

サイエンスZEROで出てきたアンモニア燃料電池の課題を解決した会社

2017-06-26 04:01:50 | ネットワーク
「食器メーカー」と言っていたからすぐに思いついたけど・・

サイエンスZEROの

サイエンスZERO「CO2削減の切り札!アンモニア研究最前線」
http://www4.nhk.or.jp/zero/x/2017-06-25/31/1544/2136639/


で出てきた、アンモニア燃料電池の課題である、
アンモニアを閉じ込めておく封止材を開発した
食器メーカーは、たぶん、ご想像のとおり

株式会社ノリタケカンパニーリミテド

みたい。ここ

燃料電池/高性能燃料電池用材料
http://www.noritake.co.jp/company/dev/fuelcell.html

の(以下太字は上記サイトより引用)
ノリタケは、カーボンを含まないアンモニア(NH3)を直接燃料とすることができる世界で初めて開発されたカーボンフリー燃料の直接供給型燃料電池用部品(アンモニア燃料電池用セラミックスセルおよび封止ガラス)を開発いたしました。
のことですね!

この記事をはてなブックマークに追加

NHKスペシャルでやっていた、退職者予測のAIの会社が出してるロボット、21万円なの?

2017-06-25 23:03:27 | Weblog
NHKスペシャルの
人工知能 天使か悪魔か 2017
http://www6.nhk.or.jp/special/detail/index.html?aid=20170625

に出てきた、退職者を予測するAIって、
その開発会社の人「フロンテオ」って書いてあったと思ったけど、
それって、

ここ? http://www.fronteo.com/

だとすると、そのサービスはこれ?

人材流出・ハラスメント防止
http://www.kibit-platform.com/solution/hr-management/


あ、そうそう、このkibiroっていうロボット、テレビに映ってたよね

http://www.kibiro.com/

えっ、このロボット、21万円なの!

(スクロールしていくと、本体15万+サービス利用料6万とある)

PepperやNAOよりお買い得?興味津々・・・



この記事をはてなブックマークに追加

6年前にうんこ出したカヤック、昨今のブームに乗れるか

2017-06-25 20:34:21 | ネットワーク
「我々は早すぎた」6年前にうんこアプリを出したカヤック、昨今のうんこブームに乗れるか
https://news.yahoo.co.jp/pickup/6244241


この記事をはてなブックマークに追加

導電布をセンサーに使う

2017-06-25 16:37:21 | Weblog
導電布をタッチセンサーや近接センサーに使う——スマートテキスタイルセンサー開発ボードセット「ADFBE」
https://fabcross.jp/news/2017/20170620_smarttextilesensor_adfbe.html

この記事をはてなブックマークに追加