冒頭の見出し図は、AI日本株式オープン(絶対収益追求型)の「AIモデル」の予測力の高さを示した検証結果とされています。
そして、以下の資料にあるように「AIモデル」は、非常に優れた予測モデルであったと書かれてありました。
ちょっと読みにくいので、文字に起こしてみると、このような記述です:
- ディープラーニングモデルとシグナル点灯回数(ロング局面日数)が同程度となる条件のランダムシミュレーションを10,000回実施し、結果を比較した。
- ディープラーニングモデルによるリターンの結果は、およそ上位5%点程度。
- ディープラーニングモデルが株式市場の先行きを予測する特徴量をうまく捉えることができている証左
図の出所
審査書類情報:添付書類「人工知能(AI)を活用した絶対収益追求ファンド(ディスカッション資料)」2016.02.10
なお、検証方法については、三菱UFJ信託資産運用情報 2016年6月号 (pdf)にもう少し詳しく書かれてあります:
さて、たしかに、「リターンの結果は、およそ上位5%点程度」ということで、数字だけ聞くと、これはすごい結果だと思います。
しかしながら、果たして、本当にそうだと言えるのでしょうか?
この点について、少し検討してみたいと思います。
(以下では、日次で算出される配当込みTOPIXに投資することが出来たとして、検討しています)
まず、検証が行われた期間(2009年12月末~2015年8月末:1392日間)における
TOPIX(配当込み)の累積日次リターンの推移(青線)を確認してみると、
設定された検証期間は、「前半:レンジ相場」+「後半:上昇相場」になっていたと言えると思います。
例えば、図中の赤線は、
- 前半の1392日中696日間は常にキャッシュ・ポジション
- 後半の残り696日間は常にロング・ポジション
のように投資した場合の獲得日次リターンの累積をみたものです。
この結果からもわかるように、AI日本株式オープン(絶対収益追求型)が検証に選んだ期間というのは、
前後半で相場局面がきれいに2つに分かれる、非常に特殊な期間が設定されていました。
通常であれば、このような特殊な期間で日次予測モデルの検証を行う場合、
それぞれの相場局面ごとに精度検証を行うか、あるいは、もっと長期の分析期間を設定すると思います
(この点については、次回触れたいと思います)。
しかしながら、AI日本株式オープン(絶対収益追求型)では、そうはなっていませんでした。
それどころか、バックテストは2008年度から実行しているにもかかわらず(下図参照)、
この予測精度評価をする際には、わざわざ、この特殊な期間になるように意図的に選択されています。
実は、この特殊な局面であれば、「ランダムシミュレーションの上位5%に入る予測モデル」は、簡単に作れてしまいます。
例えば、先ほどの「前半は投資せず、後半は投資実施」の結果(累積リターン:115.2%;年率20.7%)は、
TOPIX(配当込み)のリターンすら上回っていましたが、
ランダムシミュレーション(ロング局面:全体の50%)における上位5%にも入ってきます。
これは、「前半:レンジ相場」+「後半:上昇相場」ときれいに二分される特殊な期間であることが効いています。
当然の結果として、ポジションを半分にして通期で運用するよりも、レンジ相場では休んで上昇相場で投資した方が、はるかによいパフォーマンスが得られます。
とはいえ、これもまた当然のことではありますが、レンジ相場内、上昇相場内でみた場合、❝日次予測モデル❞としては、きわめて凡庸な結果でしかありません。
つまり、この検証期間であれば、「レンジ相場では投資をせず、上昇相場では投資をする」という至極シンプルな、大局観を持ったモデルを使えば、「非常に優れたモデル」が簡単に作れてしまいます。
(他の時期にあった「レンジ相場」「上昇相場」そして「下落相場」は、サンプルには含まれませんので、この時期にフィットするモデルを作るのはとても簡単な作業です)
これには、AI(人工知能)など関係ありません。「学習効果」なども不要です。ビッグデータを使った日次予測など無用の長物です。
ただ必要なのは、極めて慎重に「検証を行う期間」を選択するだけなのです。
後は、AIが、望んだモデルを結果的に作り出してくれるよう、インプットするデータをうまくチューニングしてやるだけです。
cf. Yahoo!マーケティングソリューション『資産運用はAIと人間の共存が不可欠~三菱UFJ信託銀行の挑戦[後編][2017.10.11]』
データ分析という領域では、AIは人間以上の力を発揮できる。
ただし、今のところは、分析にあたってどの範囲までのデータを使わせるかは、人間の力が必要だという。市場への影響度を考えずに手当たり次第にデータ取得してAIに分析させようとすると、むしろ精度は落ちてしまう。将来的には世の中のあらゆるデータを投入しても正しく分析できるようになるかもしれないが、現在のAIの性能では不可能だ。
そこを勘違いして「とりあえず全データを分析させよう」とすると、思うように成果がでないため、AI活用時には注意すべきだと岡本氏は指摘する。
※ 三菱UFJ信託銀行株式会社 資産運用部 国内株式クオンツ運用課 チーフファンドマネージャー岡本訓幸氏
では、どんなモデルを作ればよいのでしょうか?
まず、「レンジ相場」「上昇相場」に分けるということで、すぐに思いつくのは、テクニカル指標(モメンタム)を使うことではないでしょうか。
- ROC(=前日終値 ÷ 20日前終値 ー 1)を計算し、3%以上プラスの場合、「買いシグナル=短期上昇局面」を発する。
- 買いシグナルが点灯している間は、ロングポジションを取る。それ以外は、キャッシュポジションとする。
- なお、データ作成上、20日分のデータが確保できなかった2010年1月中は、シグナルを発していない。
「前半は投資せず、後半は投資実施」の結果からも容易に想像ができるように、
このような方法でも、簡単に「優れたモデル」は作れてしまいます。
また、この2局面は、経済的な視点で見れば、アベノミクス以前と以後という分け方もできるでしょう。
であるならば、経済指標を活用することが考えられます。
もちろん、日次予測モデルではありますが、前半・後半という大局観を捉えるだけなら、月次データでも十分です。
また、翌日のTOPIXの水準は、夜間のNY市場の影響を強く受けているとはいえ、2局面に分けるだけでいいのなら、日本の経済指標でも間に合うでしょう。
さて、こんな時に、まず始めにパッと思いつくのは「景気ウォッチャー投資法」ではないでしょうか。
これは、日経新聞(2013/7/22)『日経平均に大勝ち 「最強の投資助言者」街角景気 』でも取り上げられており、よく知られたオーソドックスなアプローチの1つです。
その時の結果が下図ですが、この局面では「非常にすぐれた予測モデル」であったと言えそうです。
- 毎月14日(休場の場合は、翌営業日)に、直近の景気ウォッチャー調査(現状指数)の結果を取得。(例えば、現時点が3/14の場合、2月分の結果)
- その前の月の結果と比べて、1ポイント以上改善していた場合は、ロングポジションを取る。
- その後、1ポイント以上悪化する月が発生するまで、ロングポジションを取り続ける。
- 以下、これを繰り返す。
そして、経済指標とテクニカル指標から作った、この2つのシグナルを、合成してみるとどうなるでしょうか。
- 2つのシグナルの内、いずれかで、買いシグナルが出ている時は、ロングポジションを持つ。
- それ以外は、キャッシュポジションを維持する。
この結果は、AIモデルと遜色ないと思います。
AIモデルでも「景気ウォッチャー調査などの国内経済指標」や「テクニカル指標」を使ってモデルを構築しているようですが、
実際に構築されたAIモデルも、日次予測モデルとは言いつつも、概ね、「前半:レンジ相場」「後半:上昇相場」という判断をするようなモデルになっていたのではないでしょうか?
三菱UFJ信託資産運用情報 2016年6月号 (pdf)
ちなみに、検証期間の日次リターン分布には若干の歪みもありますので、その点を考慮すると
「ランダムシミュレーション」による獲得リターンの最頻値が8~9%程度であったということは、
AIモデルのロング局面日数は、ほぼ全体の6~7割程度であったと考えられます。
この点をみても、おそらく、「前半:レンジ相場」「後半:上昇相場」を捉える感じになっていたのではないでしょうか?
AIモデルであるのだから、検証期間が変われば、その時期に合った、別の「優れたモデル」を作ってくれると期待されるかもしれませんが、
日次予測モデルの設計上、無理ではないかと思っています(この点については、また、別の機会に触れたいと思います)。
それに、もし、そんなことが出来たのなら、そもそも、検証期間を、こんな恣意的な設定にはしなかったはずです。
いろいろ言いましたが、もちろん、
「AI(人工知能)を活用した1日先予測モデルを使えば、株式市場の先行きを予測できるという証左が得られている」などという事が
いかにも大げさなことであり、誤った検証に基づく誤った主張であったとしても、
そして、また、予測アプローチ(捉えている情報)も、実質的にやっていることは、極めて古典的で、シンプルなものであったとしても、
実運用の結果がよければ、実のところは、何の問題もありません。
しかしながら、現実は、そうはなっていません。
いったい、恣意的に選択された検証期間において行われた、この見せかけの検証のどこに問題があったのでしょうか。
ちょっと長くなってしまいましたので、次回、その点について検討してみたいと思います。
そして、前回、優良誤認をもたらすダマシのテクニックが使われたのではないかと言いましたが、その辺りについて、考えてみたいと思います。