「ディープラーニングと物理学 原理がわかる、応用ができる：田中章詞、富谷昭夫、橋本幸士」（Kindle版）（参考書籍）
内容紹介：
人工知能技術の中枢をなす深層学習と物理学との繋がりを俯瞰する。物理学者ならではの視点で原理から応用までを説く、空前の入門書。物理は機械学習に役立つ!機械学習は物理に役立つ!
2019年6月22日刊行、286ページ。
著者について：
田中章詞： 研究者情報、arXiv.org論文
博士(理学)。2014年大阪大学大学院理学研究科物理学専攻博士後期課程修了。現在、理化学研究所特別研究員(革新知能統合研究センター/数理創造プログラム)
富谷昭夫： ホームページ、Twitter: @TomiyaAkio、arXiv.org論文
博士(理学)。2014年大阪大学大学院理学研究科物理学専攻博士後期課程修了。現在、理化学研究所基礎科学特別研究員(理研BNL研究センター計算物理研究グループ)
橋本幸士： ホームページ、Twitter: @hashimotostring、arXiv.org論文
理学博士。1973年生まれ、大阪育ち。1995年京都大学理学部卒業、2000年京都大学大学院理学研究科修了。理学博士。サンタバーバラ理論物理学研究所、東京大学、理化学研究所などを経て、2012年より、大阪大学大学院理学研究科教授。専門は理論物理学、弦理論。
理数系書籍のレビュー記事は本書で419冊目。
4月に発売された「宇宙と宇宙をつなぐ数学 IUT理論の衝撃： 加藤文元」という一般向け数学書の大人気が続いているが、物理学書も負けていない。6月22日の発売以来、爆発的に売れているのがこちらの本である。ツイッターから「ディープラーニングと物理学で検索」してみると人気ぶりがわかると思う。発売からひと月もたたないのに第4刷の重版出来を達成した。僕はKindle版で読んだ。
そして、なんと7月19日の日経新聞には広告が掲載された。
拡大
物理学の研究に機械学習、特にディープラーニングが使われていることを初めて耳にしたとき、にわかに信じられなかった。将棋ＡＩがそうだなのだが、この技術は過去のデータを学習して結果を得るものだ。物理学のように新しい発見を生み出すような技術ではないと思っていたからだ。（参考記事：「人工知能はどのようにして 「名人」を超えたのか?: 山本一成」）
コンピュータが物理学の研究に利用されていたことはもちろん知っている。しかし、それはアインシュタインの重力方程式をシミュレーションとして解いたり、流体力学の方程式を解いたり、モンテカルロ法のように統計的な処理をしたり、素粒子の衝突実験のデータ解析に使われたりするなどの例だ。どれも人間の限られた計算能力を補うだけで、新しい法則を発見する類いのものではない。
けれども、この研究の旗振り役はあの橋本幸士先生だ。自分の勝手な先入観で解釈すべきではない。とりあえず話を聞いてみようとでかけたのが、昨年8月に行われた「AI（人工知能）と物理学：１日目、２日目」だった。そして10月にはMATH POWER 2018という数学イベントの中で行われた「深層学習と時空」という橋本先生の講演も聴講させていただいた。講演で先生はディープラーニングの手法を使って「時空が創発される」様子を紹介されていた。時空の創発とは、何もない状態から時間と空間が生まれる宇宙の始まりのことである。この講演は動画で公開されているので、記事のリンクからたどってご覧になってみるとよい。
２つの講演を聴いて「なんだかすごいことが始まっている。」というのがよくわかった。機械学習、特にニューラルネットワークと物理学はとても似ているらしい。講演を聴く限り確かにそう思う。でも、たまたま構造が似ていて、概念の対応関係があるから物理の問題解決につながると言ってよいのだろうか？期待をかけすぎではないかという気持が僕にはあった。そして「時空の創発」だなんて、研究が始まったばかりなのにハードルが高過ぎる。
物理学の研究を機械学習で行う試みはすでに世界中で盛んにおこなわれているそうだ。日本では橋本先生のチームだけでなく、昨年8月の講演会で聴講して知ったように、日本の他の研究者も機械学習を物理の研究に取り入れている。何かすごいことが始まっている事実は否定できない。
講演時間は限られているから知識欲は満たされない。詳しく知りたいというフラストレーションが昨年から続いていたのだ。もやもやが本書を読むことで解消される。売れ行きが好調なのは、同じ気持の方が多いからだと思う。
読み始めて思ったこと
ニューラルネットワークは統計力学の問題を解くのに向いていることがすぐわかった。そして、物理学の「逆問題」を解くことになるのだという。逆問題は、講談社ブルーバックスから復刊している『プリンシピア』の流れでアイザック・ニュートンが解けなかった逆問題のことを「万有引力の法則（逆2乗則）の逆問題を解説する本と動画」という記事につい先日書いたばかりである。
問題を解く通常の方法に対し、アプローチが逆になっているものを、一般に「逆問題」と呼んでいる。逆問題のもつ一般的な性質として、次のようなものがある。
- 直接的に測ることができない対象を知ること
- 結果から原因を推定すること
- データから物理法則や支配方程式を決定すること
- 物理定数を決定すること
そして昨年秋の「第59回 神田古本まつり」で、たまたま買った「天体力学のパイオニアたち 上、下」がきっかけで「ポアンカレ 常微分方程式 -天体力学の新しい方法-」や「力学系カオス： 松葉育雄」を読むことになり、力学系を理解し始めたところだった。ところが本書によれば力学系もニューラルネットワークで扱う対象だという。（第9章：力学系とニューラルネットワーク）
このように僕の知識のネットワークの中で、たまたま自然につながった本だとわかり、読書のモチベーションが高まった。
本書の構成、内容
章立てはこのとおりである。
第1章 はじめに:機械学習と物理学
【第I部 物理から見るディープラーニングの原理】
第2章 機械学習の一般論
第3章 ニューラルネットワークの基礎
第4章 発展的なニューラルネットワーク
第5章 サンプリングの必要性と原理
第6章 教師なし深層学習
【第II部 物理学への応用と展開】
第7章 物理学における逆問題
第8章 相転移をディープラーニングで見いだせるか
第9章 力学系とニューラルネットワーク
第10章 スピングラスとニューラルネットワーク
第11章 量子多体系、テンソルネットワークとニューラルネットワーク
第12章 超弦理論への応用
第13章 おわりに
序文が熱い。次のように強烈なことが書かれている。
じつは、機械学習の礎は物理的な概念に起因していると考えることができます。物理系を特徴づけるハミルトニアンが、様々な機械学習の構造を特徴づけています。また、ハミルトニアンによる統計物理が、ニューラルネットワークによる学習を決めているのです。さらに、学習と汎化により逆問題を解くという行為そのものが物理学の進展に本質的に関係しているという言い方もできます。こういった理由から、近年の機械学習と物理の横断領域の研究が飛躍的に進展しているのです。
ハミルトニアンというのは、問題にしている物理系全体のエネルギーをあらわす関数のことで解析力学の概念であり、解析力学は古典力学から量子物理、素粒子物理でも成り立つ普遍的な力学、汎用性が高い力学体系だ。ということは機械学習が物理のあらゆる領域で使えると言っているようなものである。これには驚かされた。
第I部では、機械学習のいくつかの手法に入門しながら、物理学とどのようにかかわっているかを解説する。なんとかついていけるが、数式の箇所は導出手順や意味を確認するだけで、なかなか実感がわかない。こういうものは自分で数式からプログラムに落とす作業をしないと理解し、ものにすることができない。実践系の本で試すことが必要だ。ただし、物理とどのように関わるのかは、よくわかるように書かれているから、読み進むにつれて興味が増していく。
特に興味深かったのは、人間の記憶というものがニューラルネットワークの中で生じる力学系のアトラクターではないだろうかというアイデアだ。力学系の教科書でアトラクターは学んでいたから、説明が理解しやすかった。
第II部は、期待をはるかに超えた面白さだった。物理の逆問題について理解した後、相転移という統計力学の問題、ハミルトン力学系の問題、スピングラスの問題、量子多体系の問題、超弦理論の問題への応用と実行結果が紹介される。機械学習、ニューラルネットワークであっても、適用する問題ごとにアプローチや手法が改善されていく。これまでに参加した講演会で紹介されていなかったのは、ハミルトン系の問題、スピングラスの問題である。
特にためになったのは超弦理論への応用だ。ニューラルネットの手法を学ぶだけでなく、超弦理論で解決できていない２つの逆問題、つまりコンパクト化の問題とホログラフィー原理（そのひとつがAdS/CFT対応）の問題、の意味を理解できたので、これまで読んだ本には書かれていない知識を得ることができた。
最終章の「おわりに」では、執筆された３人の先生方が、それぞれの想いを吐露されている。どのような方が書いたのかを知って、本書への愛着がさらに増した。
読後の感想、参考文献
機械学習の勉強が浅いため、第I部は難しく第II部のほうが読みやすかった。本書を買う人は物理学系、数理物理系の人が大半だと思うが、物理学や数学が苦手なコンピュータサイエンス系、プログラマ系の人もいると思う。そのような人は第I部のほうを易しく感じるのだろうか？
機械学習と本書で扱っている物理学の両方を知っていないと、読み解くのはなかなか難しいはずだ。こんなにたくさん売れていて興味だけで買った人も多いだろうから、理解不能で困っている方もいるのではないだろうか？
せっかく買ったのに、さっぱりわからないのではもったいない。復刊している『プリンシピア』のように、持っているだけで喜びに満たされ、机の上に置いて映える本ではないのだ。（参考：『プリンシピア』の難易度に関するアンケート）買ってはみたものの予備知識不足に気がついた人がいるにちがいない。僕は自分のことを棚にあげ、他人の心配を優先する性格である。
自分がこれまでに読んで紹介した本のうち、本書を理解するのに役立つものを参考書籍として紹介してみよう。本書には巻末にたくさんの参考文献があげられているから、そこからも自分が読んでみたい和書を含めてまとめておこう。こうして書いてみたのが「『ディープラーニングと物理学』の参考書籍」という記事である。
本書は専門書だから参考文献も難しい本が多い。僕は本書のレベルに合った専門的なものと、入門者向けのやさしいレベルのものを分け、それぞれ流れに沿った形で一覧にしておいた。本書をお買い求めになった方は、参考にしていただきたい。
解析解派、数値解派、そして機械学習派？
ところで一昨日、ツイッター上で「解析解派（厳密解派）」と「数値解派」のどちらが望ましいのかと活発に議論していた。（議論を見てみる）
発端は物理系の方だったと思う。理論の構築を目指す人、数理物理系の人ならば解析解派が多いような気がした。物性物理系や素粒子物理系の人は数値解派が多いのだと思う。機械学習系や工学系だとさらに数値解派が増えるように感じた。数学系だとおそらく解析解派が多いのではないだろうか？とかく人は自分が身を置いている領域、理想を描いていることに沿って考えを決めているように思えた。
しかし物理学はしょせん近似であることがほとんどだ。テイラー展開も、摂動論もそうである。自然の問題、社会の問題はたいてい近似として解ければよいではないか。一昨日の段階では、このような着地点で議論が収束した。
物理の問題をディープラーニングで解き始めたことで、３つ目の「宗派？」が生まれたのだと思う。それはこれまでのように「数値」や「誤差」の違いではなく、解き方や得られる結果の「質」の違いであり、計算のトレーサビリティの難しさという新たな要素が加わったからだ。
いずれにせよ、人間では計算不可能なことをコンピュータにさせるのは正しいと思う。10の500乗ものバリエーションがある超弦理論のカラビ-ヤウ多様体を調べるのは手計算では不可能な問題だ。本書で示されたように「逆問題」がそのケースにあたるのだということが、よく理解できた。ちなみに今年の4月10日に公表された「ブラックホールをとらえた史上初の画像」も複数の電波望遠鏡から得たデータをスパースモデリングという機械学習で計算した「逆問題」としての解だという。
ツイッター上の議論には、次のようなオチを僕はツイートしておいた。
アイザック・ニュートンはどちらの宗派に属していたのだろう。www
#解析解 #数値解 #厳密解
拡大: ニュートンによる手計算
機械学習＋物理学という切り口の本では日本初である。今後の発展を楽しみにしつつ、一読者としてこのスタートラインを共有できたことが、何よりうれしかった。
本書に関連するarXiv.orgの論文：
Deep Learning and AdS/CFT - ディープラーニングとAdS/CFT
https://arxiv.org/abs/1802.08313
AdS/CFT as a deep Boltzmann machine - 深層ボルツマン・マシンとしてのAdS/CFT
https://arxiv.org/abs/1903.04951
Deep Learning and Holographic QCD - ホログラフィックQCD、ディープラーニングから時空を創発したという論文
https://arxiv.org/abs/1809.10536
2019年10月に本書の続編とでもいうべき本が刊行された。出版社は朝倉書店なので、Kindle化はされないと予想される。
「物理学者，機械学習を使う ー機械学習・深層学習の物理学への応用ー」（紹介記事）
-----------------
2021年2月に追記：
本書の英語版が発売されたので追記しておく。
「Deep Learning and Physics: Akinori Tanaka, Akio Tomiya, Koji Hashimoto」（Kindle版）
関連記事：
『ディープラーニングと物理学』の参考書籍
https://blog.goo.ne.jp/ktonegaw/e/da7337791b63e739bd77c8fe6d9bda41
「AI（人工知能）と物理学」：１日目
https://blog.goo.ne.jp/ktonegaw/e/c8bc23afafd9e9b3d7eff92b781d1f8b
「AI（人工知能）と物理学」：２日目
https://blog.goo.ne.jp/ktonegaw/e/e8c08583785cfd8237966389e92c362e
深層学習と時空：橋本幸士先生 #MathPower
https://blog.goo.ne.jp/ktonegaw/e/bf7e7e661246866943c765bdd371248f
物理学者，機械学習を使う ー機械学習・深層学習の物理学への応用ー
https://blog.goo.ne.jp/ktonegaw/e/069b899edd696e92ffcaae55e348397e
「ディープラーニングと物理学 原理がわかる、応用ができる：田中章詞、富谷昭夫、橋本幸士」（Kindle版）（参考書籍）
序文
第1章 はじめに：機械学習と物理学
・1.1 情報理論ことはじめ
・1.2 物理学と情報理論
・1.3 機械学習と情報理論
・1.4 機械学習と物理学
【第I部 物理から見るディープラーニングの原理】
第2章 機械学習の一般論
・2.1 機械学習の目的
・2.2 機械学習とオッカムの剃刀
・2.3 確率的勾配降下法
・コラム：確率論と情報理論
第3章 ニューラルネットワークの基礎
・3.1 誤差関数とその統計力学的理解
・3.2 ブラケット記法による誤差逆伝播法の導出
・3.3 ニューラルネットワークの万能近似定理
・コラム：統計力学と量子力学
第4章 発展的なニューラルネットワーク
・4.1 畳み込みニューラルネットワーク
・4.2 再帰的ニューラルネットワークと誤差逆伝播
・4.3 LSTM
・コラム：カオスの縁と計算可能性の創発
第5章 サンプリングの必要性と原理
・5.1 中心極限定理と機械学習における役割
・5.2 様々なサンプリング法
・5.3 詳細釣り合いを満たすサンプリング法
・コラム：イジング模型からホップフィールド模型へ
第6章 教師なし深層学習
・6.1 教師なし学習
・6.2 ボルツマンマシン
・6.3 敵対的生成ネットワーク
・6.4 生成モデルの汎化について
・コラム：自己学習モンテカルロ法
【第II部 物理学への応用と展開】
第7章 物理学における逆問題
・7.1 逆問題と学習
・7.2 逆問題における正則化
・7.3 逆問題と物理学的機械学習
・コラム：スパースモデリング
第8章 相転移をディープラーニングで見いだせるか
・8.1 相転移とは
・8.2 ニューラルネットワークを使った相転移検出
・8.3 ニューラルネットワークは何を見ているのか
第9章 力学系とニューラルネットワーク
・9.1 微分方程式とニューラルネットワーク
・9.2 ハミルトン力学系の表示
第10章 スピングラスとニューラルネットワーク
・10.1 ホップフィールド模型とスピングラス
・10.2 記憶とアトラクター
・10.3 同期と階層化
第11章 量子多体系、テンソルネットワークとニューラルネットワーク
・11.1 波動関数をニューラルネットで
・11.2 テンソルネットワークとニューラルネットワーク
第12章 超弦理論への応用
・12.1 超弦理論における逆問題
・12.2 曲がった時空はニューラルネットワーク
・12.3 ニューラルネットで創発する時空
・12.4 QCDから創発する時空
・コラム：ブラックホールと情報
第13章 おわりに
謝辞
参考文献
内容紹介：
人工知能技術の中枢をなす深層学習と物理学との繋がりを俯瞰する。物理学者ならではの視点で原理から応用までを説く、空前の入門書。物理は機械学習に役立つ!機械学習は物理に役立つ!
2019年6月22日刊行、286ページ。
著者について：
田中章詞： 研究者情報、arXiv.org論文
博士(理学)。2014年大阪大学大学院理学研究科物理学専攻博士後期課程修了。現在、理化学研究所特別研究員(革新知能統合研究センター/数理創造プログラム)
富谷昭夫： ホームページ、Twitter: @TomiyaAkio、arXiv.org論文
博士(理学)。2014年大阪大学大学院理学研究科物理学専攻博士後期課程修了。現在、理化学研究所基礎科学特別研究員(理研BNL研究センター計算物理研究グループ)
橋本幸士： ホームページ、Twitter: @hashimotostring、arXiv.org論文
理学博士。1973年生まれ、大阪育ち。1995年京都大学理学部卒業、2000年京都大学大学院理学研究科修了。理学博士。サンタバーバラ理論物理学研究所、東京大学、理化学研究所などを経て、2012年より、大阪大学大学院理学研究科教授。専門は理論物理学、弦理論。
理数系書籍のレビュー記事は本書で419冊目。
4月に発売された「宇宙と宇宙をつなぐ数学 IUT理論の衝撃： 加藤文元」という一般向け数学書の大人気が続いているが、物理学書も負けていない。6月22日の発売以来、爆発的に売れているのがこちらの本である。ツイッターから「ディープラーニングと物理学で検索」してみると人気ぶりがわかると思う。発売からひと月もたたないのに第4刷の重版出来を達成した。僕はKindle版で読んだ。
そして、なんと7月19日の日経新聞には広告が掲載された。
拡大
物理学の研究に機械学習、特にディープラーニングが使われていることを初めて耳にしたとき、にわかに信じられなかった。将棋ＡＩがそうだなのだが、この技術は過去のデータを学習して結果を得るものだ。物理学のように新しい発見を生み出すような技術ではないと思っていたからだ。（参考記事：「人工知能はどのようにして 「名人」を超えたのか?: 山本一成」）
コンピュータが物理学の研究に利用されていたことはもちろん知っている。しかし、それはアインシュタインの重力方程式をシミュレーションとして解いたり、流体力学の方程式を解いたり、モンテカルロ法のように統計的な処理をしたり、素粒子の衝突実験のデータ解析に使われたりするなどの例だ。どれも人間の限られた計算能力を補うだけで、新しい法則を発見する類いのものではない。
けれども、この研究の旗振り役はあの橋本幸士先生だ。自分の勝手な先入観で解釈すべきではない。とりあえず話を聞いてみようとでかけたのが、昨年8月に行われた「AI（人工知能）と物理学：１日目、２日目」だった。そして10月にはMATH POWER 2018という数学イベントの中で行われた「深層学習と時空」という橋本先生の講演も聴講させていただいた。講演で先生はディープラーニングの手法を使って「時空が創発される」様子を紹介されていた。時空の創発とは、何もない状態から時間と空間が生まれる宇宙の始まりのことである。この講演は動画で公開されているので、記事のリンクからたどってご覧になってみるとよい。
２つの講演を聴いて「なんだかすごいことが始まっている。」というのがよくわかった。機械学習、特にニューラルネットワークと物理学はとても似ているらしい。講演を聴く限り確かにそう思う。でも、たまたま構造が似ていて、概念の対応関係があるから物理の問題解決につながると言ってよいのだろうか？期待をかけすぎではないかという気持が僕にはあった。そして「時空の創発」だなんて、研究が始まったばかりなのにハードルが高過ぎる。
物理学の研究を機械学習で行う試みはすでに世界中で盛んにおこなわれているそうだ。日本では橋本先生のチームだけでなく、昨年8月の講演会で聴講して知ったように、日本の他の研究者も機械学習を物理の研究に取り入れている。何かすごいことが始まっている事実は否定できない。
講演時間は限られているから知識欲は満たされない。詳しく知りたいというフラストレーションが昨年から続いていたのだ。もやもやが本書を読むことで解消される。売れ行きが好調なのは、同じ気持の方が多いからだと思う。
読み始めて思ったこと
ニューラルネットワークは統計力学の問題を解くのに向いていることがすぐわかった。そして、物理学の「逆問題」を解くことになるのだという。逆問題は、講談社ブルーバックスから復刊している『プリンシピア』の流れでアイザック・ニュートンが解けなかった逆問題のことを「万有引力の法則（逆2乗則）の逆問題を解説する本と動画」という記事につい先日書いたばかりである。
問題を解く通常の方法に対し、アプローチが逆になっているものを、一般に「逆問題」と呼んでいる。逆問題のもつ一般的な性質として、次のようなものがある。
- 直接的に測ることができない対象を知ること
- 結果から原因を推定すること
- データから物理法則や支配方程式を決定すること
- 物理定数を決定すること
そして昨年秋の「第59回 神田古本まつり」で、たまたま買った「天体力学のパイオニアたち 上、下」がきっかけで「ポアンカレ 常微分方程式 -天体力学の新しい方法-」や「力学系カオス： 松葉育雄」を読むことになり、力学系を理解し始めたところだった。ところが本書によれば力学系もニューラルネットワークで扱う対象だという。（第9章：力学系とニューラルネットワーク）
このように僕の知識のネットワークの中で、たまたま自然につながった本だとわかり、読書のモチベーションが高まった。
本書の構成、内容
章立てはこのとおりである。
第1章 はじめに:機械学習と物理学
【第I部 物理から見るディープラーニングの原理】
第2章 機械学習の一般論
第3章 ニューラルネットワークの基礎
第4章 発展的なニューラルネットワーク
第5章 サンプリングの必要性と原理
第6章 教師なし深層学習
【第II部 物理学への応用と展開】
第7章 物理学における逆問題
第8章 相転移をディープラーニングで見いだせるか
第9章 力学系とニューラルネットワーク
第10章 スピングラスとニューラルネットワーク
第11章 量子多体系、テンソルネットワークとニューラルネットワーク
第12章 超弦理論への応用
第13章 おわりに
序文が熱い。次のように強烈なことが書かれている。
じつは、機械学習の礎は物理的な概念に起因していると考えることができます。物理系を特徴づけるハミルトニアンが、様々な機械学習の構造を特徴づけています。また、ハミルトニアンによる統計物理が、ニューラルネットワークによる学習を決めているのです。さらに、学習と汎化により逆問題を解くという行為そのものが物理学の進展に本質的に関係しているという言い方もできます。こういった理由から、近年の機械学習と物理の横断領域の研究が飛躍的に進展しているのです。
ハミルトニアンというのは、問題にしている物理系全体のエネルギーをあらわす関数のことで解析力学の概念であり、解析力学は古典力学から量子物理、素粒子物理でも成り立つ普遍的な力学、汎用性が高い力学体系だ。ということは機械学習が物理のあらゆる領域で使えると言っているようなものである。これには驚かされた。
第I部では、機械学習のいくつかの手法に入門しながら、物理学とどのようにかかわっているかを解説する。なんとかついていけるが、数式の箇所は導出手順や意味を確認するだけで、なかなか実感がわかない。こういうものは自分で数式からプログラムに落とす作業をしないと理解し、ものにすることができない。実践系の本で試すことが必要だ。ただし、物理とどのように関わるのかは、よくわかるように書かれているから、読み進むにつれて興味が増していく。
特に興味深かったのは、人間の記憶というものがニューラルネットワークの中で生じる力学系のアトラクターではないだろうかというアイデアだ。力学系の教科書でアトラクターは学んでいたから、説明が理解しやすかった。
第II部は、期待をはるかに超えた面白さだった。物理の逆問題について理解した後、相転移という統計力学の問題、ハミルトン力学系の問題、スピングラスの問題、量子多体系の問題、超弦理論の問題への応用と実行結果が紹介される。機械学習、ニューラルネットワークであっても、適用する問題ごとにアプローチや手法が改善されていく。これまでに参加した講演会で紹介されていなかったのは、ハミルトン系の問題、スピングラスの問題である。
特にためになったのは超弦理論への応用だ。ニューラルネットの手法を学ぶだけでなく、超弦理論で解決できていない２つの逆問題、つまりコンパクト化の問題とホログラフィー原理（そのひとつがAdS/CFT対応）の問題、の意味を理解できたので、これまで読んだ本には書かれていない知識を得ることができた。
最終章の「おわりに」では、執筆された３人の先生方が、それぞれの想いを吐露されている。どのような方が書いたのかを知って、本書への愛着がさらに増した。
読後の感想、参考文献
機械学習の勉強が浅いため、第I部は難しく第II部のほうが読みやすかった。本書を買う人は物理学系、数理物理系の人が大半だと思うが、物理学や数学が苦手なコンピュータサイエンス系、プログラマ系の人もいると思う。そのような人は第I部のほうを易しく感じるのだろうか？
機械学習と本書で扱っている物理学の両方を知っていないと、読み解くのはなかなか難しいはずだ。こんなにたくさん売れていて興味だけで買った人も多いだろうから、理解不能で困っている方もいるのではないだろうか？
せっかく買ったのに、さっぱりわからないのではもったいない。復刊している『プリンシピア』のように、持っているだけで喜びに満たされ、机の上に置いて映える本ではないのだ。（参考：『プリンシピア』の難易度に関するアンケート）買ってはみたものの予備知識不足に気がついた人がいるにちがいない。僕は自分のことを棚にあげ、他人の心配を優先する性格である。
自分がこれまでに読んで紹介した本のうち、本書を理解するのに役立つものを参考書籍として紹介してみよう。本書には巻末にたくさんの参考文献があげられているから、そこからも自分が読んでみたい和書を含めてまとめておこう。こうして書いてみたのが「『ディープラーニングと物理学』の参考書籍」という記事である。
本書は専門書だから参考文献も難しい本が多い。僕は本書のレベルに合った専門的なものと、入門者向けのやさしいレベルのものを分け、それぞれ流れに沿った形で一覧にしておいた。本書をお買い求めになった方は、参考にしていただきたい。
解析解派、数値解派、そして機械学習派？
ところで一昨日、ツイッター上で「解析解派（厳密解派）」と「数値解派」のどちらが望ましいのかと活発に議論していた。（議論を見てみる）
発端は物理系の方だったと思う。理論の構築を目指す人、数理物理系の人ならば解析解派が多いような気がした。物性物理系や素粒子物理系の人は数値解派が多いのだと思う。機械学習系や工学系だとさらに数値解派が増えるように感じた。数学系だとおそらく解析解派が多いのではないだろうか？とかく人は自分が身を置いている領域、理想を描いていることに沿って考えを決めているように思えた。
しかし物理学はしょせん近似であることがほとんどだ。テイラー展開も、摂動論もそうである。自然の問題、社会の問題はたいてい近似として解ければよいではないか。一昨日の段階では、このような着地点で議論が収束した。
物理の問題をディープラーニングで解き始めたことで、３つ目の「宗派？」が生まれたのだと思う。それはこれまでのように「数値」や「誤差」の違いではなく、解き方や得られる結果の「質」の違いであり、計算のトレーサビリティの難しさという新たな要素が加わったからだ。
いずれにせよ、人間では計算不可能なことをコンピュータにさせるのは正しいと思う。10の500乗ものバリエーションがある超弦理論のカラビ-ヤウ多様体を調べるのは手計算では不可能な問題だ。本書で示されたように「逆問題」がそのケースにあたるのだということが、よく理解できた。ちなみに今年の4月10日に公表された「ブラックホールをとらえた史上初の画像」も複数の電波望遠鏡から得たデータをスパースモデリングという機械学習で計算した「逆問題」としての解だという。
ツイッター上の議論には、次のようなオチを僕はツイートしておいた。
アイザック・ニュートンはどちらの宗派に属していたのだろう。www
#解析解 #数値解 #厳密解
拡大: ニュートンによる手計算
機械学習＋物理学という切り口の本では日本初である。今後の発展を楽しみにしつつ、一読者としてこのスタートラインを共有できたことが、何よりうれしかった。
本書に関連するarXiv.orgの論文：
Deep Learning and AdS/CFT - ディープラーニングとAdS/CFT
https://arxiv.org/abs/1802.08313
AdS/CFT as a deep Boltzmann machine - 深層ボルツマン・マシンとしてのAdS/CFT
https://arxiv.org/abs/1903.04951
Deep Learning and Holographic QCD - ホログラフィックQCD、ディープラーニングから時空を創発したという論文
https://arxiv.org/abs/1809.10536
2019年10月に本書の続編とでもいうべき本が刊行された。出版社は朝倉書店なので、Kindle化はされないと予想される。
「物理学者，機械学習を使う ー機械学習・深層学習の物理学への応用ー」（紹介記事）
-----------------
2021年2月に追記：
本書の英語版が発売されたので追記しておく。
「Deep Learning and Physics: Akinori Tanaka, Akio Tomiya, Koji Hashimoto」（Kindle版）
関連記事：
『ディープラーニングと物理学』の参考書籍
https://blog.goo.ne.jp/ktonegaw/e/da7337791b63e739bd77c8fe6d9bda41
「AI（人工知能）と物理学」：１日目
https://blog.goo.ne.jp/ktonegaw/e/c8bc23afafd9e9b3d7eff92b781d1f8b
「AI（人工知能）と物理学」：２日目
https://blog.goo.ne.jp/ktonegaw/e/e8c08583785cfd8237966389e92c362e
深層学習と時空：橋本幸士先生 #MathPower
https://blog.goo.ne.jp/ktonegaw/e/bf7e7e661246866943c765bdd371248f
物理学者，機械学習を使う ー機械学習・深層学習の物理学への応用ー
https://blog.goo.ne.jp/ktonegaw/e/069b899edd696e92ffcaae55e348397e
「ディープラーニングと物理学 原理がわかる、応用ができる：田中章詞、富谷昭夫、橋本幸士」（Kindle版）（参考書籍）
序文
第1章 はじめに：機械学習と物理学
・1.1 情報理論ことはじめ
・1.2 物理学と情報理論
・1.3 機械学習と情報理論
・1.4 機械学習と物理学
【第I部 物理から見るディープラーニングの原理】
第2章 機械学習の一般論
・2.1 機械学習の目的
・2.2 機械学習とオッカムの剃刀
・2.3 確率的勾配降下法
・コラム：確率論と情報理論
第3章 ニューラルネットワークの基礎
・3.1 誤差関数とその統計力学的理解
・3.2 ブラケット記法による誤差逆伝播法の導出
・3.3 ニューラルネットワークの万能近似定理
・コラム：統計力学と量子力学
第4章 発展的なニューラルネットワーク
・4.1 畳み込みニューラルネットワーク
・4.2 再帰的ニューラルネットワークと誤差逆伝播
・4.3 LSTM
・コラム：カオスの縁と計算可能性の創発
第5章 サンプリングの必要性と原理
・5.1 中心極限定理と機械学習における役割
・5.2 様々なサンプリング法
・5.3 詳細釣り合いを満たすサンプリング法
・コラム：イジング模型からホップフィールド模型へ
第6章 教師なし深層学習
・6.1 教師なし学習
・6.2 ボルツマンマシン
・6.3 敵対的生成ネットワーク
・6.4 生成モデルの汎化について
・コラム：自己学習モンテカルロ法
【第II部 物理学への応用と展開】
第7章 物理学における逆問題
・7.1 逆問題と学習
・7.2 逆問題における正則化
・7.3 逆問題と物理学的機械学習
・コラム：スパースモデリング
第8章 相転移をディープラーニングで見いだせるか
・8.1 相転移とは
・8.2 ニューラルネットワークを使った相転移検出
・8.3 ニューラルネットワークは何を見ているのか
第9章 力学系とニューラルネットワーク
・9.1 微分方程式とニューラルネットワーク
・9.2 ハミルトン力学系の表示
第10章 スピングラスとニューラルネットワーク
・10.1 ホップフィールド模型とスピングラス
・10.2 記憶とアトラクター
・10.3 同期と階層化
第11章 量子多体系、テンソルネットワークとニューラルネットワーク
・11.1 波動関数をニューラルネットで
・11.2 テンソルネットワークとニューラルネットワーク
第12章 超弦理論への応用
・12.1 超弦理論における逆問題
・12.2 曲がった時空はニューラルネットワーク
・12.3 ニューラルネットで創発する時空
・12.4 QCDから創発する時空
・コラム：ブラックホールと情報
第13章 おわりに
謝辞
参考文献
アクセス
トータル
ランキング
結果は既に知られている概念の再現や人類がまだ作ってないけど有用そうな概念が得られたそうです。
当時のコンピューターでは本格的に複雑な理論までは無理だったと思いますが、いよいよ現実に使える所まで来てるよーな。
物理だと、時空なし基礎理論から時空概念を構成できれば「時空の創発」となりますかね？
数学でも物理でも新概念を作る事が進歩, 発展の中身ですから、量的に大変なことは AI に任せて人間は創造的な事をすれば…なーんて言ってるうちに創造まで AI に取られそうな話です。
第5世代プロジェクトって、1980年代初めに始まっていたのですね。ウィキペディアには「10年と570億円をかけたプロジェクトは、通産省が喧伝した目標についてはまったく達成しなかった。」と書かれています。
> 結果は既に知られている概念の再現や人類がまだ作ってないけど有用そうな概念が得られたそうです。
まったく無駄ではなかったのですね。
> いよいよ現実に使える所まで来てるよーな。
はい、そのような勢いです。
> 物理だと、時空なし基礎理論から時空概念を構成できれば「時空の創発」となりますかね？
そうなりますね。今回の実験は格子QCDを前提としているようですが、その場合前提が「時空なし」と言っていいのか僕にはよくわかっていないです。
> 数学でも物理でも新概念を作る事が進歩, 発展の中身ですから、量的に大変なことは AI に任せて人間は創造的な事をすれば…なーんて言ってるうちに創造まで AI に取られそうな話です。
おっしゃるとおりです。でも、創造的な仕事を（金を稼ぐために）継続するのは、すごくエネルギーが必要ですね。
難しい数学の定理とかをAIが証明したり、～予想を自動的に提唱してすぐ証明したりして、数学者が理解できない世の中が来るのかなと想像しているところです。
それに必要なビッグデータを獲得するにはインターネットが普及する必要がありましたから、今こそ役に立つ時代になったわけですね。
もっともコンピューター能力も超躍進してますから旧型機は御用済みだけど。
失敗の原因はデータ不足だったのですね。その時代は磁気テープにデータを入れていたことを思い出しました。２つめの職場は1980年代最後でしたが、そのときも大量のデータは大きな磁気テープに書き込んで、電車やタクシーで客先に運んでいました。１本に何メガバイトくらい書き込めたのかは忘れてしまいましたが、大きな磁気テープでも今のmicro SDカードよりずっと少なかったでしょうね。
現代でも40テラバイト以上だと、インターネットで送るよりハードディスクに入れて電車や郵送で運んだほうが早いという話を聞いたことがあります。
これって、講演で創発させても意味はなく、物理屋なら実験で創発させる方が先じゃないでしょうか？
なにか実験的成果はでてるんでしょうか？
これは理論物理学、数理物理の研究なので、実験はできるのかどうかわかりませんが、まだ当分先の話です。執筆された３人の先生は、実験科学者ではありません。
ヒッグス粒子の発見にたとえれば、ヒッグス博士が論文を書いたという段階ですね。
理論物理学の世界では意味のあることだと思います。
観測で示さないと宗教の一つってことですね。
観測可能な方法も示すのも理論物理では？
時空の創発って意味が解りません。
ディープラーニングも、将棋とかで人間に勝って進歩が認めれたんでしょうが、時空の創発をどう示すんでしょうね？
> 観測で示さないと宗教の一つってことですね。
いえいえ、３つめの宗派（？）と呼んでいるのは解析解派、数値解派とは別の「機械学習派」という意味であって、観測で示すか示さないかとは違う文脈でのグループ分けです。
> 観測可能な方法も示すのも理論物理では？
一概に言えないと思います。ディラック博士やヒッグス博士は観測可能な方法を示しませんでしたし、キップ・ソーン博士は観測の方法を示唆したとも言えます。観測プロジェクトの推進には、大きな役割を果たしました。しかし、実験の具体的な技術面での貢献は実験物理学者のワイス博士とバリッシュ博士です。
> 時空の創発って意味が解りません。
まずは本書や論文を読んで理解することから始まりますね。
> ディープラーニングも、将棋とかで人間に勝って進歩が認めれたんでしょうが、時空の創発をどう示すんでしょうね？
これについては、まだ誰にもわかりません。（考えている人はいるかもしれませんが、公表されていませんし。）
だから、読んだとねさんに疑問ぶつけてみたんです。
ちょっと失礼な言い方で申し訳ありません。
でも、とねさんも
橋本先生のお答は「2017年の導出は弦理論とは関係ない量子重力理論によるもの」というものだった。https://blog.goo.ne.jp/ktonegaw/e/c8bc23afafd9e9b3d7eff92b781d1f8b
で質問されていてなにを納得したのかどうか聞いてみたんです。
３日間もお悩みになったのですか！本を買う前に MATH POWERでの橋本先生の講演動画を見たり、ひゃまさんは英語論文をお読みになれるのでarXivの論文を先にお読みになったほうがよいと思いますよ。本を買うのはその後で必要ならばということで。
「2017年の導出は弦理論とは関係ない量子重力理論によるもの」というのは、以下の段落のことですね。思い出しました。ここは時空の創発の話に入る前の段階、量子重力の歴史を話している箇所です。今回のテーマの時空の創発とは関係ありません。（今回の時空の創発の話は超弦理論、AdS/CFT対応、ホログラフィー原理と関わるものです。）
昨年の講演を説明した記事より抜粋：
僕はひとつ質問させていただいた。量子重力の歴史の中で2017年にアインシュタイン方程式（非線形）の導出がされたわけだが、これと1974年に米谷、ScherkとSchwarzにより弦理論が重力を含むことを発見したこととの違いについて。2013年に放送されたNHKの「神の数式」では超弦理論の数式がアインシュタイン方程式を含むことが解説されていたからだ。橋本先生のお答は「2017年の導出は弦理論とは関係ない量子重力理論によるもの」というものだった。