５月１８日、第１４回全脳アーキテクチャ勉強会「深層学習を超える新皮質計算モデル」
を聞いてきたんだけど、ごめん！まったく内容がわかっていない。メモとりきれていない。
なので、内容めちゃくちゃだけど、メモメモ（っていうか、落書落書き）
■ご挨拶 （パナソニック株式会社）
・パナソニックも実はＡＩ：紹介して来い
・２軸：
ビッグデータ、社内の用途 アプリケーションオリエンテェド
アルゴリズム、ディープラーニング→脳
人間の脳 ２Ｗくらいで計算している
脳の可能性
■オープニング
・大脳新皮質のモデル
ＨＴＭモデル
大脳新皮質での
学会：３つ
ＣＮＮ：局所性を扱う
ＲＬ：報酬を扱う
ＬＳＴＭ：時間を扱う
計算論的神経科学の国際会議 ＣＯＳＹＮＥ(こさいん）
■大脳新皮質のマスターアルゴリズムの候補としてのHTM
・ジェフホーキングとカーツワイル
心の作り方（HOW TO CREATE MIND)：汎用人工知能を作る
脳はパターン認識
ホーキンスの影響
ＨＴＭには同意しない。隠れマルコフＨＭＭと考えている
しり にゅあんす社→ＨＭＭ
バイオインフォマティクス
・隠れマルコフモデルとベイジアンネットワーク
ノードに確率変数
隠れ状態→観測から、隠れ状態を観測する
→ダイナミカルベイジアンネットワーク（ＤＢN)の一種
ほかのＤＢＮ：カルマンフィルタ
ＤＢＮは非循環ゆうこうグラフ
・Ｏｎ Intelligens
・ホーキンスの目的
人間を作るのでも、ロボットを作るのでもない
チューリングテストはナンセンス
目的は宇宙の探索
・Numenta（ホーキンスの会社）の歴史
・２０１４年 ジェネレーション３：論文になっていない
・ＨＴＭ理論
ゼータアルゴリズム
Cortical leading Algorithm(CLA)
資質学習アルゴリズム
より神経科学的
オンライン学習
ＳＤＲ表現
ＩＢＭが参入
ＧＥＮ３
・新皮質に対する考え方
共通のアルゴリズム
新皮質はどこをとってもほぼ一様：反論あり
階層構造と普遍性
新皮質皮質の量やは改装操作
不変性
図形の不変性
・空間ぷーリングと時間ぷーリング
ＨＴＭ／Ｚｅｔａ１
/
Ｃｏｒｔｉａｌ Ｌｅｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍ
樹状突起：規程規定樹状突起
遠隔樹状突起
・細胞体
・規定樹状突起
ディープラーニング下から
これは上と横から来る
・まくろこらむ、まいくろこらむをつくる
・スペースぷーリング
予想状態を考える：あれば、そこが発火
なければコラム全体発火
入ってくる情報はバイナリー
・タイムぷーリング
・ＨＴＭニューロン
きてい→下の階層から
遠隔→階層内から
尖端→上の階層から
・ＳＤＲ（Space Distributed Representation
ＳＤＲの幾何学的表現
下の空間ベクトルの
・脳の集団符号化方式
・脳とコンピューター
コンピューター＝計算するもの
脳＝すべてメモリ
脳は計算しない、記憶を想起する
１００ステップ則
・脳は世界のモデル作成機
脳
ボールの軌道を学習で小野得る
手の運動も覚える
想起する
・Ｂｙｎｎｅ 脳は力学系のモデラー
Ｔａｋｅｎｓの低利 モデル間の情報は少なくてよい
・Ｈ．Ｍａｒｋｒａｍのバブル世界
人は現実よりは脳内モデルを見ている
バブル世界：錯覚の起源
→汎用人工知能 錯覚しますか、バカですか、偏見がありますか？
・脳はベクトルの変換機
脳はベクトルをベクトルに変換する関数（機会）
・脳の動作はなぜ速い？
・いかに高速に想起するか：量子計算機
・汎用人工知能の実現法
生物学的
数学的
工学的
粒度による分類
粗粒度
中粒度
さい粒度
ちょうさいりゅうど
達成方法
ボトムアップ：生物学的
トップダウン
愛とか、共感とかはわからない
・脳の階層構造
海馬 エピソード記憶
・新皮質の階層構造
脳は複雑階層系
深層学習ＣＮＮ
ＨＴＭ理論
・脳型コンピューターによる天気予報
過去の天気図をすべて覚える
過去のもっとも近い天気図を探す
次の日の天気図を見る
・汎用人工知能をめぐる大競争 The Great Game
Ｑ＆Ａ
・あらゆることは時間シーケンスで覚えている
例：歌歌えますよね。逆に歌えますか？
■賛助会員プレゼンテーション nextremer（ねくすとりまー）
・会社紹介
・機械学習には本当に大量のデータが必要か
機械学習と定義される範囲が広い
ニューラルネットワークを使った画像認識
・手書き文字の認識（ＭＮIST)
より少ない枚数から学ぶには
→多様体学習
・多様体学習
ディープラーニング：データの提示原価
多様体学習：多様体→座標のようなもの 低次元化
・本質的に近いデータは、データよりはるか低次元のそれぞれ別々の空間に集まっている
・多様体乗でデータを効率的に捉える
情報幾何
トポロジカルデータアナリシス
■
・存在しないプロポーションでもわかる
→ふへんてき知覚
ノイズがはいっても、同じ人としてわかるのはなぜ？
ビューインバリアンス
どんなむきをむいていてもわかる
・１個の細胞が対応しているのでは：おばあさん細胞仮説
→そんな細胞はない
・網膜上では、分散的：タ次元空間の中のベクトル、点
・機能単位は何か、機能を支える構造を知りたい
機能単位が表現している視覚特徴は？
・さる高次視覚野の機能と構造
１．高次視覚野の機能構造
２．機能単位が表現する視覚特徴
３．物体表現のダイナミズム
へんとうたい：お母さんか、ただの女性かをくべつする
高次視覚野
・１９９０年代：トラの頭のニューロン
特徴→単純化して、応答は変わらないか？
→コラム仮説
・こまったこと２０００年前の批判
図形特徴が？？？
・１９９５年ＦＭＲI
→顔と顔以外
・１００この物体の応答を記録
５００ミクロンで共通の性格がかわる
・共通の反応特性はコラム毎に異なっている
・サイトを分類（階層クラスタリング）
→ある性質に応答しているのは、固まっている
ただし、サイト内でも違う特徴（さるの顔と人の顔）に反応するものある
・細胞ーコラムードメインという階層構造
・個々のコラムはどのような視覚特徴を符号化しているか
仮定
・コラムが符号化している視覚特徴に近いものが自然画像のどこかにあるはずだ
ガボールフィルターとローカルマックス→応答の推定
ジャックナイフリーサンプリング
・ＤＣＮＮ
・ダイナミクス
ぷーリングそう
じゅようやがおおきくなる
ウォーリーを探せ：目を動かす→注意を動かす
物体あたり、１７コラム動く→スパース
脳：注意をシフトする
２本必要
中心にある時
中心にないときに中心に持ってくる
→富士通の人とやっている
■パネルディスカッション
・物体像の表現はスパース でんすかきょくしょかすぱーすか
高次空間から、網膜画像に戻す
セイリアンシーマップ
・ディープネットを使おうという人はたくさんいるが、
２つ問題ある
どうしてうまくいくのか、よくわからない→エラーのとき
表現そうでどういう基底関数を
オープン：みんながやっている→そのさきは？
人間とどこが違うのか
・今後
時間の問題
を聞いてきたんだけど、ごめん！まったく内容がわかっていない。メモとりきれていない。
なので、内容めちゃくちゃだけど、メモメモ（っていうか、落書落書き）
■ご挨拶 （パナソニック株式会社）
・パナソニックも実はＡＩ：紹介して来い
・２軸：
ビッグデータ、社内の用途 アプリケーションオリエンテェド
アルゴリズム、ディープラーニング→脳
人間の脳 ２Ｗくらいで計算している
脳の可能性
■オープニング
・大脳新皮質のモデル
ＨＴＭモデル
大脳新皮質での
学会：３つ
ＣＮＮ：局所性を扱う
ＲＬ：報酬を扱う
ＬＳＴＭ：時間を扱う
計算論的神経科学の国際会議 ＣＯＳＹＮＥ(こさいん）
■大脳新皮質のマスターアルゴリズムの候補としてのHTM
・ジェフホーキングとカーツワイル
心の作り方（HOW TO CREATE MIND)：汎用人工知能を作る
脳はパターン認識
ホーキンスの影響
ＨＴＭには同意しない。隠れマルコフＨＭＭと考えている
しり にゅあんす社→ＨＭＭ
バイオインフォマティクス
・隠れマルコフモデルとベイジアンネットワーク
ノードに確率変数
隠れ状態→観測から、隠れ状態を観測する
→ダイナミカルベイジアンネットワーク（ＤＢN)の一種
ほかのＤＢＮ：カルマンフィルタ
ＤＢＮは非循環ゆうこうグラフ
・Ｏｎ Intelligens
・ホーキンスの目的
人間を作るのでも、ロボットを作るのでもない
チューリングテストはナンセンス
目的は宇宙の探索
・Numenta（ホーキンスの会社）の歴史
・２０１４年 ジェネレーション３：論文になっていない
・ＨＴＭ理論
ゼータアルゴリズム
Cortical leading Algorithm(CLA)
資質学習アルゴリズム
より神経科学的
オンライン学習
ＳＤＲ表現
ＩＢＭが参入
ＧＥＮ３
・新皮質に対する考え方
共通のアルゴリズム
新皮質はどこをとってもほぼ一様：反論あり
階層構造と普遍性
新皮質皮質の量やは改装操作
不変性
図形の不変性
・空間ぷーリングと時間ぷーリング
ＨＴＭ／Ｚｅｔａ１
/
Ｃｏｒｔｉａｌ Ｌｅｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍ
樹状突起：規程規定樹状突起
遠隔樹状突起
・細胞体
・規定樹状突起
ディープラーニング下から
これは上と横から来る
・まくろこらむ、まいくろこらむをつくる
・スペースぷーリング
予想状態を考える：あれば、そこが発火
なければコラム全体発火
入ってくる情報はバイナリー
・タイムぷーリング
・ＨＴＭニューロン
きてい→下の階層から
遠隔→階層内から
尖端→上の階層から
・ＳＤＲ（Space Distributed Representation
ＳＤＲの幾何学的表現
下の空間ベクトルの
・脳の集団符号化方式
・脳とコンピューター
コンピューター＝計算するもの
脳＝すべてメモリ
脳は計算しない、記憶を想起する
１００ステップ則
・脳は世界のモデル作成機
脳
ボールの軌道を学習で小野得る
手の運動も覚える
想起する
・Ｂｙｎｎｅ 脳は力学系のモデラー
Ｔａｋｅｎｓの低利 モデル間の情報は少なくてよい
・Ｈ．Ｍａｒｋｒａｍのバブル世界
人は現実よりは脳内モデルを見ている
バブル世界：錯覚の起源
→汎用人工知能 錯覚しますか、バカですか、偏見がありますか？
・脳はベクトルの変換機
脳はベクトルをベクトルに変換する関数（機会）
・脳の動作はなぜ速い？
・いかに高速に想起するか：量子計算機
・汎用人工知能の実現法
生物学的
数学的
工学的
粒度による分類
粗粒度
中粒度
さい粒度
ちょうさいりゅうど
達成方法
ボトムアップ：生物学的
トップダウン
愛とか、共感とかはわからない
・脳の階層構造
海馬 エピソード記憶
・新皮質の階層構造
脳は複雑階層系
深層学習ＣＮＮ
ＨＴＭ理論
・脳型コンピューターによる天気予報
過去の天気図をすべて覚える
過去のもっとも近い天気図を探す
次の日の天気図を見る
・汎用人工知能をめぐる大競争 The Great Game
Ｑ＆Ａ
・あらゆることは時間シーケンスで覚えている
例：歌歌えますよね。逆に歌えますか？
■賛助会員プレゼンテーション nextremer（ねくすとりまー）
・会社紹介
・機械学習には本当に大量のデータが必要か
機械学習と定義される範囲が広い
ニューラルネットワークを使った画像認識
・手書き文字の認識（ＭＮIST)
より少ない枚数から学ぶには
→多様体学習
・多様体学習
ディープラーニング：データの提示原価
多様体学習：多様体→座標のようなもの 低次元化
・本質的に近いデータは、データよりはるか低次元のそれぞれ別々の空間に集まっている
・多様体乗でデータを効率的に捉える
情報幾何
トポロジカルデータアナリシス
■
・存在しないプロポーションでもわかる
→ふへんてき知覚
ノイズがはいっても、同じ人としてわかるのはなぜ？
ビューインバリアンス
どんなむきをむいていてもわかる
・１個の細胞が対応しているのでは：おばあさん細胞仮説
→そんな細胞はない
・網膜上では、分散的：タ次元空間の中のベクトル、点
・機能単位は何か、機能を支える構造を知りたい
機能単位が表現している視覚特徴は？
・さる高次視覚野の機能と構造
１．高次視覚野の機能構造
２．機能単位が表現する視覚特徴
３．物体表現のダイナミズム
へんとうたい：お母さんか、ただの女性かをくべつする
高次視覚野
・１９９０年代：トラの頭のニューロン
特徴→単純化して、応答は変わらないか？
→コラム仮説
・こまったこと２０００年前の批判
図形特徴が？？？
・１９９５年ＦＭＲI
→顔と顔以外
・１００この物体の応答を記録
５００ミクロンで共通の性格がかわる
・共通の反応特性はコラム毎に異なっている
・サイトを分類（階層クラスタリング）
→ある性質に応答しているのは、固まっている
ただし、サイト内でも違う特徴（さるの顔と人の顔）に反応するものある
・細胞ーコラムードメインという階層構造
・個々のコラムはどのような視覚特徴を符号化しているか
仮定
・コラムが符号化している視覚特徴に近いものが自然画像のどこかにあるはずだ
ガボールフィルターとローカルマックス→応答の推定
ジャックナイフリーサンプリング
・ＤＣＮＮ
・ダイナミクス
ぷーリングそう
じゅようやがおおきくなる
ウォーリーを探せ：目を動かす→注意を動かす
物体あたり、１７コラム動く→スパース
脳：注意をシフトする
２本必要
中心にある時
中心にないときに中心に持ってくる
→富士通の人とやっている
■パネルディスカッション
・物体像の表現はスパース でんすかきょくしょかすぱーすか
高次空間から、網膜画像に戻す
セイリアンシーマップ
・ディープネットを使おうという人はたくさんいるが、
２つ問題ある
どうしてうまくいくのか、よくわからない→エラーのとき
表現そうでどういう基底関数を
オープン：みんながやっている→そのさきは？
人間とどこが違うのか
・今後
時間の問題
アクセス
トータル
ランキング
