人工知能に意味を理解させるのに、DisCoCatっていうのが、有力らしい

私の理解が間違っていなければ、そんな話を
１月８日、マルレク５回目

人工知能と意味の形式的理論

で聞いてきたのでメモメモ

---

意味の話
・人工知能にとって、自然言語の意味の理解は重要な課題

・現在の主要な技術の紹介
　文と意味の「構成性」
　意味の同一性／意味の共通表現の存在

・文の意味の構成の認識なしでも
　　語の意味の表現：実在→オントロジー、文の使用(word2vec)、辞書、conceptual spaces
　　共通表現

・論理式、多次元表現→はやりは分散表現
　　CCG；文から論理式を導く
　　DisCoCat
　カテゴリー文法は数学のカテゴリーと関係ないけど

　文法：大きな変化　Lambek Pregroup Grammer

１．今の技術　３つ
（１）Alexa Intentモデル
・操作主義的な知性の解釈
　　Syntax-semantics-Pragmatics：Pragmaticな意味理解
　→語用論的意味理解　　
　サールの中国人の部屋
　意味にこたえて正しく反応
　→パターンマッチング
　※AlexaとAndroid：Intentは同じような言葉で使っている
　　Slot：Intentの引数　Slot type
　　Intent signature 文法
　→進化している

２．Entityモデル
　情報をエンティティに対応させる
　　→概念実在論
　型：多重継承を許す→静的：まずい→Actionタイプの導入
　プロパティを増やしている：恣意的
　→網羅性を欠いている　WordNetとの比較
　Folksonomy：語彙の定義をみんなで作る


３．機械翻訳モデル
　EncoderーDecoder+Attention
　分散モデルで理解
　→英語に直せるが、言い換えができない

　Semantic hashing（意味的ハッシング）
　　圧縮して展開
　　普通のハッシング：元には戻らない
　　意味的ハッシング：元に戻す

　→分散表現をやっている
　固定長ベクトルがボトルネック
　→Googleの機械翻訳

まとめ：
・文は文法にしたがって構成
　文法と意味の表現を意識したモデルも存在する
　　Word2Vec
　　IBM Watson
　　CCG,DisCoCat（でぃすこきゃっと）


・意味の表現
（１）Word2Vec：語の並びに興味はない
　語の意味（文の意味ではない）
　データセットに依存されえるはず
　　実在論でやったほうがはっきりする
　同じ意味を持つ

（２）シーングラフ
　自然言語で書く
　画像の意味表現にエンティティモデルを利用

　シーングラフから自然言語を作るのは簡単

　シーングラフの意味
　　・ツールがあれば、作成できる
　　・シーングラフを文に表現できる

　画像→シーングラフ→文

　概念のリソース

　Minimalist Programの言語モデル

（３）文章の一部から画像検索
　フレーズごとに画像認識：うまくいかなかったんだよ

（４）文の句構造を解析
　分から現実の対応物を見つける
　語の中心：動詞
　チョムスキー「参照主義：「外部論者」批判

　現実の世界→意味の世界→文法構造→文

・意味の表現をめぐる様々な試み：
　　共通表現を論理式に

　Deep Parsing：Slot Grammer

・表層構造と深層構造
　WordSence
　→Watsonでは採用されなかった

●Part2
・文法の新しい定式化と認識へのモデル論的アプローチ
　１　Pregroup　Grammer
　２　モデル論的アプローチ

・minimalist ProgramとCategolical grammer
　チョムスキーとランベック
　minimalist文法とカテゴリー文法の収斂について

・カテゴリー文法と
　書き方かわっても同じような感じ

　耳で聞きながら文法の型を理解している

・理論とモデル
　意味の二項性
　２つの言語を比較すると、意味は取り出しやすく感じる
　異なる語から異なる構成規則で構成された文が同じ意味を持つ

・ルールの世界VSたとえで理解する
　たとえの世界は具体的で現実

・ルールとたとえの対応関係

・理論とモデルの形式的定義
　理論の世界：証明できる
　真であることが定義されている：モデル→妥当性

　モデルの世界で妄想している

・ゲーデルの完全性定理


・非ユークリッド幾何学の発見
　　楕円幾何学、双曲幾何学→リーマン幾何学

・非カントール的集合論
　連続体仮説（ゲーデル）、コーrン成り立たない→両方ある

・ローヴェルのFunctor Semantics
　理論　カテゴリーC　－Functor F →モデル　カテゴリーD　セマンティクス


●意味の形式的
・意味も構成性を持つ
　CCGとDisCoCat　
　　CCG　カリー　ハワード対応
　DisCoCat　Functor

CCG：ラムダ式使う
　文の構成と意味の構成を同時に行う。
　意味の表現はラムダ式
　文を論理系に隔週させる　UW SPF

・ラムダ計算
　Fun｜－ADJ:λｘ、Fun(x)

　CCGでパージング
　→倫理式が導出される

・DisCoCat
　
　準備３つ
　　１　文法のカテゴリー
　　２　意味のカテゴリー
　　３　文法→意味のFunctor

　意味の表現
　　論理的
　　ベクトル空間→分散モデル

　→語の意味の分散モデルで表現

　The Functor：シンタックス→セマンティック

・最近の話題
　言い換え、文の含意→導ける
　乳＾らるネットのアプローチをDisCoから見直す
　コネクショニズムを超えてシンボルの形成を説明
　密度行列でConceptual Space

・おわりに
　DisCo意味論はまだまだプリミティブ
　文法のカテゴリーから意味のカテゴリーは大きな可能性