６月２５日
【満員につき事前予約枠増枠★】Deep Learningオールスターズ2017
を聞いてきたのでメモメモ
DeepLearningオールスターズ2017
■挨拶
・名前変えた(.dotsから）
・DeepLearningオールスターズの説明
DeepLearning部ってあるの知ってる・・・０
部活動している：グループふぉろーしてくれれば・・
・会場利用
・ハッシュタグみてＱ＆Ａするかも
・写真動画基本的ＯＫ：第一セッションのみＸ
のちほどシェアする
・アンケート
ここはじめてきたひと いっぱい
職種 えんじにあ ９わり
知見 初級 ７わり 手を動かしてる ２わり じつむ １割いないくらい
■史上初！あのチームラボがＧＰＵを使い倒した結果
・知見を初めて公開するという意味で史上初
→いろいろつかっている
■デジタルアートにおけるＤＬ
・会社紹介
Technology X Creative スタッフ４００人「実験と革新」
・ソリューション受託開発
次世代自動販売機、黒霧島
・プロダクト
チームＬａｂカメラ：モーションセンサー、ＳＮＳ連携
子供向けデジタルコンテンツ；お絵かき水族館
動きに合わせた映像
ＤＭＭ六本木オフィスの会議室へお客さん案内
・DeepLearningを使ったデジタルアートの紹介
動画：レストランでコース料理を食べる
お皿に反応：カメラで画像認識
→SAGAYAというレストランで運用されている
予約すれば体験できる
・センシングのベースとなる１フレームごとに検出に
Single Shot Multi Box Detector(SSD)を使用
画像を１回feedForwardするだけで、検出と識別を行えて高精度かつ高速
お皿の検出という問題に合わせたチューニングを行った
ベースのまま使っている
→手が乗っていても、安定して検出
ライブラリCaffe(SSDの作者がforkしたもの）
データセット：リリース時１００００枚（４オブジェクト／マイ）
５００枚くらいをラべリング
インフラ TITAN X 1枚で約２日→ＩＤＣ，ＡＷＳ Ｐ２
30fpsでもいける
・よかったところ
そんなに膨大な量のデータセットを用意しなくてもfine-tuning
（転移学習）で十分な制度（ぱすかるＶｏＣ）
料理が乗ったり手が触れたりした状況でも、精度の高い
・大変なところ
映像、オーダーメイドの皿、コース料理、センサーシステムが同時に
作りあがっていく過程で生じる変更によるものがほとんど
「このお皿は使えますか？」という質問にすぐに答えられない
→いけるっしょって賭けに出る
学習にかかる時間
・改良したいところ
毎月の運用：簡単に新しいお皿を登録できる仕組みの開発
プロジェクタの映像による影響をなくす：赤外線カメラへの変更
■レコメンドパッケージにおけるＤＬ
・課題
チームラボレコメンドパッケージ
独自の協調フィルタリングを利用したレコメンド
弱点
ログのない商品をもとにレコメンドする制度が悪い
→強調フィルタリングのよくある弱点
・社内の論文読み界で紹介された手法
CDL(Collaborative Deep LOearning)
強調フィルタリングの弱点を、Matrix Factorizatuin(MF)とＤＮＮで克服
ざっくりいうと、ＭＦで抽出したアイテムベクトルと
商品情報をＤＮＮで取り出した中間層のベクトルを近づける
・そんなにふかくなく
Denoting Auto-Encoder
商品→入力層→ＣＮＮ２そう→中間層→ＣＮＮ３そう→出力層
・ＣＤＬでよくあるＥＣサイトのログを使用する場合
行動データを利用するために
暗黙的フィードバック：購買されるほど、評価がたかいとした
商品画像に利用するために
オートエンコーダーで次元圧縮した中間層を利用しても特徴が
・アパレルＥＣのクリックデータ
商品ごとの３２Ｘ３２画像
説明文：動詞・名詞抜き出し
・課題
定量的な評価
ＭＦの高速化：並列性能悪い、分散処理が苦手っぽい
ＣＤＬのチューニング：性能が上がっているのかわからない
スケールする必要 １エポック５分、１０分
■クラウドＧＰＵのメリット
１．クラウドサービスの親和性
２．すぐに簡単に使える
３．従量課金
・１．クラウドサービスとの親和性
学習Phase；クローラーＶＭは安くクラウドで
推論Phase：学習PhaseのＧＰＵが使える
・２．すぐに簡単に使える
てすらさん使ってる
DockerイメージをCUDA,Jupyterなどを丸ごと
・追加学習にも、１時間４００円から使える
初期費用不要
■ニューラルネットワークのその次へ
・自己紹介
・今までやってきた機械学習
てんそるふろーがでたとき
画像処理
投稿写真のぶんりぃ
超解像
・でぃーぷっていったら、にゅーらるねっとだけではない
・Deep Forest
・本題の前に
決定木、
ランダムフォレスト：決定木を複数使う
・ＤｅｅｐＦｏｒｅｓｔ
ランダムフォレストを多層に使う
・Multi-Grained Scanning
N-gram １００次元
３つとる→３０１インスタンス
イメージの場合、スキャン
・キャラクターレベルＣＮＮとの性能差を比べる
ソフトウェアデザイン８月号
DeepForest
少量だとキャラクターレベルＣＮＮよりも精度でる
大量だと、DeepForestはメモリ大量に使う
→MondrianForestでオンライン学習
・MondrianForest
ランダムフォレストをオンライン学習に対応
scikit-learnでirisで
→時間切れ
■DeepLearningの世界に飛び込む前の命綱
・自己紹介
深層学習による自然言語処理
・チーム紹介：chakki→１５：００に帰れるように
Github上に公開 chazutsuデータのダウンロードからpandus
論文輪講：アーカイブタイムス
https://github.com/arXivTimes/arXivTimes
・本日のテーマ
ディープラーニングをやる前に機械学習をやったほうがいいんじゃないの
・取り組むタスク：評判分析 極性判定 IMDB
・既存の機械学習：ナイーブベイズ
→分類問題のベースライン
パラメータ設定、特徴設定で
ナイーブベイズとＳＶＭで９１％
scikit-learn（さいきっとらーん）
Bag of Bigramsとして、ナイーブベイズを実装
→おなじくらいでた
・DeepLearning LSTM
Keras（バックエンドはてんそるふろー）
正解率８０％
→過学習している
・パラメータチューニング
３０時間
→性能が出ない：８４％が限界
ドロップアウト０．８
・振り返り
ベースラインにつかづけるのも難しい
延々とパラメータ調整に取り組むことの危険性
・性能向上をどこまで行うかの目安
・うまくいかない時の保険・代替案
→命綱を用意してDeepLearning
■ファッションアイテムにおける
・自己紹介
・会社について
IQON
１．ファッションアイテム検索と画像認識
１．１ アイテム検索における画像認識の価値
抜け感、ボリュームスリーブ
→アイテムの類似度を評価する上で画像は欠かせない情報である
辞書のメンテが要らない
１．２ ファッション分野で扱う画像
商品画像：デザインわかりやすい、着用イメージがわきにくい
スナップ画像：デザインがわかりくい、着用した画像
１．３ファッションアイテムの検索と深層学習
さまざまなドメインの画像を同じアーキテクチャで
特徴抽出の自動化
Side-informationの利用が簡単
モデルの学習に十分な量のデータが存在する
２．深層学習の活用事例
Item2Item
商品画像から商品画像：にているもの
Autoencoder
近似近傍探索
入力を復元する
学習：エンコーダー→デコーダー
検索；エンコーダー→近傍
Ｓｎａｐ２Ｉｔｅｍ
ＳＳＤ
Similarity Learning
近傍
ＳＳＤカテゴリごとに検出できる
類似度学習：無理やり近づける
Item2Snap
逆びき。実装方法は同じ
感覚的なアイテム検索
画像＋属性（ベクトル）
ＶＡＥ
ＧＡＮ
ＶＡＥとＧＡＮを組み合わせたモデルを利用して特徴空間を張る
Ｄｉｓｃｒｉｍｉｎａｔｏｒ
ＩＢＩＳ２０１６で発表
・今後の取り組み
感覚的なアイテム検索の高度化
コーディネートの自動化：３点以上は成功例が少ない
・コーディネート
評価が難しい
データがスパース
コンテキスト：赤文字、青文字とか
・ＭＩＲＵ２０１７で発表
■３Ｄデータへの深層学習の適用
・自己紹介
ものづくりのサービス化
３Ｄプリンタでカスタマイズ
特注品：すべてが例外 労働集約型
→例外の類型化
VoxNetによる３Ｄモデル認識技術の研究開発
・VoxNetとは
３Ｄデータを特定サイズのＸＹＺ空間に写像（ボクセル化）
３ＤＣＮＮ
・デモ
過去に近い案件の類似検索
Tensol ボード
・テクニックモデル
転移学習：VoxNetの学習済みモデルを初期値として学習効率化
バッチノーマライゼーション：共変量シフト環境に対応
ランダムドロップアウト：かがくしゅうよくし
Leakly ReLU：負方向の学習
Biased softmax：偏った学習
・データ
Prinston ModelNet
Ｄａｔａ augumentation：データにノイズ
Data addition：学習データを増やす
テンソルフローのねいてぃぶビルド
・しっぱいれい
X-ray：リソース不足
カリキュラムラーニング
優しい問題から難しい問題へ→むずかしいってなんだよ！
環境変化に追従するおぷてぃまいざー
ベイズ最適化
ハイパーパラメータのチューニング：リソース
・２０％の例外 パレートの法則
・クラウドで自動化した、ブラウザで完了
・宣伝：てんそるふろーゆーざーぐるーぷ
■Chainerで知るDeepLearning
・自己紹介
・会社紹介
・テーマ
Chainerを通して説明
・２０１５年４月 Chainer開発開始
・時代に合わせて進化したＣｈａｉｎｅｒ
手法が複雑化
・Ｃｈａｉｎｅｒ誕生
Caffe,DL4J,Torch,theano
できることもまだまだ少なかった
ＤＱＮ：強化学習
一部の人しか使っていなかった
技術力と数学の力
Chainer
pipインストールできる
・深層学習が複雑になる
Tensor Flowの登場：ハードルを下げた
ぶつからない車
ゴッホ風の絵
女の子を作る
使う人が増えてきた
論文実装が増えた
より複雑になっている
・２０１７年７月 フレームワーク
Tensor Flow
Caffe
Ｋｅｒａｓ
mxnet
theano
pytoarch
CNTK
nvidia digit
：
・多角化するフレームワーク機能
・DeepLearningのコモディティ化
DeepLearningはもはやソフトウェア？
使い方
・scikit-learn簡単？
・計算環境の使用コストが安くなった
→ＧＰＵは全然安くなっていないです
・インストールのハードルも下がった
nvidia-docker
azureのデータサイエンス用仮想マシン
・できることが増えた
paints chainer
Ponanza Chainer
音声認識
・Chainerも進化
リリースサイクル３か月に１回
・Cupy
Numpyのサブセット
・用途によったライブラリ
ＭＮ：分散処理
ＲＬ：共通インターフェース
ＣＶ：画像認識
・ＣｈａｉｎｅｒＭＮ
ＭＰＩとＢＣＣＬを使用した分散深層学習
・ＣｈａｉｎｅｒＲＬ
・ＣｈａｉｎｅｒＣＶ
画像認識
・こみにてぃ活動も進化させたい
■Ｑ＆Ａ
アクセス
トータル
ランキング
