6月25日
【満員につき事前予約枠増枠★】Deep Learningオールスターズ2017
を聞いてきたのでメモメモ
DeepLearningオールスターズ2017
■挨拶
・名前変えた(.dotsから)
・DeepLearningオールスターズの説明
DeepLearning部ってあるの知ってる・・・0
部活動している:グループふぉろーしてくれれば・・
・会場利用
・ハッシュタグみてQ&Aするかも
・写真動画基本的OK:第一セッションのみX
のちほどシェアする
・アンケート
ここはじめてきたひと いっぱい
職種 えんじにあ 9わり
知見 初級 7わり 手を動かしてる 2わり じつむ 1割いないくらい
■史上初!あのチームラボがGPUを使い倒した結果
・知見を初めて公開するという意味で史上初
→いろいろつかっている
■デジタルアートにおけるDL
・会社紹介
Technology X Creative スタッフ400人「実験と革新」
・ソリューション受託開発
次世代自動販売機、黒霧島
・プロダクト
チームLabカメラ:モーションセンサー、SNS連携
子供向けデジタルコンテンツ;お絵かき水族館
動きに合わせた映像
DMM六本木オフィスの会議室へお客さん案内
・DeepLearningを使ったデジタルアートの紹介
動画:レストランでコース料理を食べる
お皿に反応:カメラで画像認識
→SAGAYAというレストランで運用されている
予約すれば体験できる
・センシングのベースとなる1フレームごとに検出に
Single Shot Multi Box Detector(SSD)を使用
画像を1回feedForwardするだけで、検出と識別を行えて高精度かつ高速
お皿の検出という問題に合わせたチューニングを行った
ベースのまま使っている
→手が乗っていても、安定して検出
ライブラリCaffe(SSDの作者がforkしたもの)
データセット:リリース時10000枚(4オブジェクト/マイ)
500枚くらいをラべリング
インフラ TITAN X 1枚で約2日→IDC,AWS P2
30fpsでもいける
・よかったところ
そんなに膨大な量のデータセットを用意しなくてもfine-tuning
(転移学習)で十分な制度(ぱすかるVoC)
料理が乗ったり手が触れたりした状況でも、精度の高い
・大変なところ
映像、オーダーメイドの皿、コース料理、センサーシステムが同時に
作りあがっていく過程で生じる変更によるものがほとんど
「このお皿は使えますか?」という質問にすぐに答えられない
→いけるっしょって賭けに出る
学習にかかる時間
・改良したいところ
毎月の運用:簡単に新しいお皿を登録できる仕組みの開発
プロジェクタの映像による影響をなくす:赤外線カメラへの変更
■レコメンドパッケージにおけるDL
・課題
チームラボレコメンドパッケージ
独自の協調フィルタリングを利用したレコメンド
弱点
ログのない商品をもとにレコメンドする制度が悪い
→強調フィルタリングのよくある弱点
・社内の論文読み界で紹介された手法
CDL(Collaborative Deep LOearning)
強調フィルタリングの弱点を、Matrix Factorizatuin(MF)とDNNで克服
ざっくりいうと、MFで抽出したアイテムベクトルと
商品情報をDNNで取り出した中間層のベクトルを近づける
・そんなにふかくなく
Denoting Auto-Encoder
商品→入力層→CNN2そう→中間層→CNN3そう→出力層
・CDLでよくあるECサイトのログを使用する場合
行動データを利用するために
暗黙的フィードバック:購買されるほど、評価がたかいとした
商品画像に利用するために
オートエンコーダーで次元圧縮した中間層を利用しても特徴が
・アパレルECのクリックデータ
商品ごとの32X32画像
説明文:動詞・名詞抜き出し
・課題
定量的な評価
MFの高速化:並列性能悪い、分散処理が苦手っぽい
CDLのチューニング:性能が上がっているのかわからない
スケールする必要 1エポック5分、10分
■クラウドGPUのメリット
1.クラウドサービスの親和性
2.すぐに簡単に使える
3.従量課金
・1.クラウドサービスとの親和性
学習Phase;クローラーVMは安くクラウドで
推論Phase:学習PhaseのGPUが使える
・2.すぐに簡単に使える
てすらさん使ってる
DockerイメージをCUDA,Jupyterなどを丸ごと
・追加学習にも、1時間400円から使える
初期費用不要
■ニューラルネットワークのその次へ
・自己紹介
・今までやってきた機械学習
てんそるふろーがでたとき
画像処理
投稿写真のぶんりぃ
超解像
・でぃーぷっていったら、にゅーらるねっとだけではない
・Deep Forest
・本題の前に
決定木、
ランダムフォレスト:決定木を複数使う
・DeepForest
ランダムフォレストを多層に使う
・Multi-Grained Scanning
N-gram 100次元
3つとる→301インスタンス
イメージの場合、スキャン
・キャラクターレベルCNNとの性能差を比べる
ソフトウェアデザイン8月号
DeepForest
少量だとキャラクターレベルCNNよりも精度でる
大量だと、DeepForestはメモリ大量に使う
→MondrianForestでオンライン学習
・MondrianForest
ランダムフォレストをオンライン学習に対応
scikit-learnでirisで
→時間切れ
■DeepLearningの世界に飛び込む前の命綱
・自己紹介
深層学習による自然言語処理
・チーム紹介:chakki→15:00に帰れるように
Github上に公開 chazutsuデータのダウンロードからpandus
論文輪講:アーカイブタイムス
https://github.com/arXivTimes/arXivTimes
・本日のテーマ
ディープラーニングをやる前に機械学習をやったほうがいいんじゃないの
・取り組むタスク:評判分析 極性判定 IMDB
・既存の機械学習:ナイーブベイズ
→分類問題のベースライン
パラメータ設定、特徴設定で
ナイーブベイズとSVMで91%
scikit-learn(さいきっとらーん)
Bag of Bigramsとして、ナイーブベイズを実装
→おなじくらいでた
・DeepLearning LSTM
Keras(バックエンドはてんそるふろー)
正解率80%
→過学習している
・パラメータチューニング
30時間
→性能が出ない:84%が限界
ドロップアウト0.8
・振り返り
ベースラインにつかづけるのも難しい
延々とパラメータ調整に取り組むことの危険性
・性能向上をどこまで行うかの目安
・うまくいかない時の保険・代替案
→命綱を用意してDeepLearning
■ファッションアイテムにおける
・自己紹介
・会社について
IQON
1.ファッションアイテム検索と画像認識
1.1 アイテム検索における画像認識の価値
抜け感、ボリュームスリーブ
→アイテムの類似度を評価する上で画像は欠かせない情報である
辞書のメンテが要らない
1.2 ファッション分野で扱う画像
商品画像:デザインわかりやすい、着用イメージがわきにくい
スナップ画像:デザインがわかりくい、着用した画像
1.3ファッションアイテムの検索と深層学習
さまざまなドメインの画像を同じアーキテクチャで
特徴抽出の自動化
Side-informationの利用が簡単
モデルの学習に十分な量のデータが存在する
2.深層学習の活用事例
Item2Item
商品画像から商品画像:にているもの
Autoencoder
近似近傍探索
入力を復元する
学習:エンコーダー→デコーダー
検索;エンコーダー→近傍
Snap2Item
SSD
Similarity Learning
近傍
SSDカテゴリごとに検出できる
類似度学習:無理やり近づける
Item2Snap
逆びき。実装方法は同じ
感覚的なアイテム検索
画像+属性(ベクトル)
VAE
GAN
VAEとGANを組み合わせたモデルを利用して特徴空間を張る
Discriminator
IBIS2016で発表
・今後の取り組み
感覚的なアイテム検索の高度化
コーディネートの自動化:3点以上は成功例が少ない
・コーディネート
評価が難しい
データがスパース
コンテキスト:赤文字、青文字とか
・MIRU2017で発表
■3Dデータへの深層学習の適用
・自己紹介
ものづくりのサービス化
3Dプリンタでカスタマイズ
特注品:すべてが例外 労働集約型
→例外の類型化
VoxNetによる3Dモデル認識技術の研究開発
・VoxNetとは
3Dデータを特定サイズのXYZ空間に写像(ボクセル化)
3DCNN
・デモ
過去に近い案件の類似検索
Tensol ボード
・テクニックモデル
転移学習:VoxNetの学習済みモデルを初期値として学習効率化
バッチノーマライゼーション:共変量シフト環境に対応
ランダムドロップアウト:かがくしゅうよくし
Leakly ReLU:負方向の学習
Biased softmax:偏った学習
・データ
Prinston ModelNet
Data augumentation:データにノイズ
Data addition:学習データを増やす
テンソルフローのねいてぃぶビルド
・しっぱいれい
X-ray:リソース不足
カリキュラムラーニング
優しい問題から難しい問題へ→むずかしいってなんだよ!
環境変化に追従するおぷてぃまいざー
ベイズ最適化
ハイパーパラメータのチューニング:リソース
・20%の例外 パレートの法則
・クラウドで自動化した、ブラウザで完了
・宣伝:てんそるふろーゆーざーぐるーぷ
■Chainerで知るDeepLearning
・自己紹介
・会社紹介
・テーマ
Chainerを通して説明
・2015年4月 Chainer開発開始
・時代に合わせて進化したChainer
手法が複雑化
・Chainer誕生
Caffe,DL4J,Torch,theano
できることもまだまだ少なかった
DQN:強化学習
一部の人しか使っていなかった
技術力と数学の力
Chainer
pipインストールできる
・深層学習が複雑になる
Tensor Flowの登場:ハードルを下げた
ぶつからない車
ゴッホ風の絵
女の子を作る
使う人が増えてきた
論文実装が増えた
より複雑になっている
・2017年7月 フレームワーク
Tensor Flow
Caffe
Keras
mxnet
theano
pytoarch
CNTK
nvidia digit
:
・多角化するフレームワーク機能
・DeepLearningのコモディティ化
DeepLearningはもはやソフトウェア?
使い方
・scikit-learn簡単?
・計算環境の使用コストが安くなった
→GPUは全然安くなっていないです
・インストールのハードルも下がった
nvidia-docker
azureのデータサイエンス用仮想マシン
・できることが増えた
paints chainer
Ponanza Chainer
音声認識
・Chainerも進化
リリースサイクル3か月に1回
・Cupy
Numpyのサブセット
・用途によったライブラリ
MN:分散処理
RL:共通インターフェース
CV:画像認識
・ChainerMN
MPIとBCCLを使用した分散深層学習
・ChainerRL
・ChainerCV
画像認識
・こみにてぃ活動も進化させたい
■Q&A