AI日本株式オープン（絶対収益追求型）のバックテスト結果については、過去に何度か提示されていました。
それらについて、整理して確認をしておきたいと思います。
特徴的な点としては、バックテスト期間が短い点と、2008年度を含むバージョンと除いたバージョンがある点だと言えます。
そして、このような不十分な検証しか実施されなかった理由を考えると、投信ビジネスに潜む問題点が浮かび上がってくるように思います。
① 2008年3月末～2015年9月末［年率平均：9％］
日経新聞（2016.5.8）『三菱ＵＦＪ信託、ＡＩが運用する投信 16年度内にも』
☞ このＡＩを使ったシミュレーションでは2008～15年度のすべての年で利益を確保できた。年率平均リターンは９％だった。
☞ 三菱ＵＦＪ信託銀によると国内で米金融危機の08年度にプラスの運用成績を上げたファンドはない。
三菱UFJ信託銀行『人工知能（AI）を活用した絶対収益追求ファンド（ディスカッション資料）』＜特許申請時添付資料：公開2018.2.15＞
☞ 2008～2015年度まで全ての年度でプラスのリターンを獲得（平均（年率換算）９％） ※ 2015年度は上期のみ（2015/04-09）
☞ リーマンショック時を含め、相場の下落局面でも安定的にリターンがプラス
※ 資料にあるTOPIXのパフォーマンスは平均6.9％（年率換算）。配当込みTOPIX？
＜コメント①＞
日経新聞に掲載された記事によると、バックテストは「2008～2015年度」つまり「2008年3月末～2016年3月末」の期間であったように読めますが、
2018年2月に公開された特許申請時添付資料によると、「2008～2015年度上期」つまり「2008年3月末～2015年9月末」のことであったようです。
仮に、企業業績に関してこのような記事（誤解を生むような表現）があった場合は、通常は、訂正が行われるレベルの内容だと思います。
投資判断に使われる情報なのに、株式投資と投資信託とでは、このように「情報の重み・信頼性」が異なる点は、常々問題ではないかと思っています。
＜コメント②＞
資料によると、バックテスト期間におけるTOPIXのパフォーマンスは平均6.9%（年率換算）であったと記載がありました。
ちなみに、この間のTOPIX（配当含まず）の月次リターン（年率換算）は平均4.0%となっています。
また、日次リターン（年率換算：1年＝250日）は平均5.0%。年度別リターン（※ 2015年度は９月末まで）の平均だと4.3%でした。
平均日次リターンに配当（年率2%弱程度）を加えると、資料にあった値に近くなります。資料では、配当込みTOPIXを比較対象にしていたのでしょうか？
あるいは、期間変化率を年あたりで表記した？この辺りは、よくわかりませんでした。
② 2008年3月末～2016年3月末［年率平均：7.4％］
MUFG Innovation Hub（2017.2.24）『三菱UFJ信託銀行が運用する、人工知能を活用した投資信託とは』
☞ 三菱UFJ信託銀行とMTECが2008年4月から2016年3月を想定して行ったシミュレーションでは、年平均7.4％の運用成績を叩き出したという。
☞ TOPIXが2008年にリーマンショックの影響で30％以上落ち込み、2010年、2015年にも約10％程度のマイナスを記録した一方で、
シミュレーションではすべての年度でプラスを記録。
☞ TOPIXの上昇局面ではTOPIXを下回る試算となったものの、トータルでは年平均3.4％であったTOPIXの値動きを大きく上回った。
Yahoo!マーケティングソリューション（2017.10.10）『マイナス金利時代にAIがもたらす価値～三菱UFJ信託銀行の挑戦［前編］』
☞ 2008年から2015年度まで・・・シミュレーションを行ったところ、平均利回り7.4％という成績をたたき出したという。
☞ 2008〜2015年度まですべての年度でプラスのリターンを獲得
☞ リターン・リスク比など複数の観点でTOPIXより優れた結果を達成
☞ 「この商品は、リーマンショックのようなマイナス局面でも収益を確保できる可能性があるのです。」
＜コメント＞
資料にあったTOPIXリターンの平均値・標準偏差は、「TOPIX（配当含まず）の月次リターン」を年率換算して計算した値と一致していました。
公式の販売資料（投信は2017.2.1に設定：pdf）では、TOPIX（配当込み）と比較していましたが、この時は、TOPIX（配当含まず）を比較対象にしていたようです。
※ 話はちょっと逸れますが、比較対象のTOPIXで、「配当込み」と「配当含めず」を使い分けていることの作意については、以前、こちらなどで書いています。
③ 2009年～2016年前半［年率平均：7.1％］
日経新聞（2016.12.19）『投信、ＡＩが運用 三菱ＵＦＪ系など 』
☞ 2009～16年前半のデータで試算した平均利回りは7.1％で、東証株価指数（ＴＯＰＩＸ）で運用した場合の利回りとほぼ並んだ。
＜コメント＞
時期については、日経新聞の表現があいまいなので正確には分かりませんでした。
なお、５月にでた記事ではバックテスト期間は2008年度スタートでしたが、この12月に出た記事では2009年スタートになっています。
ちなみに、TOPIX（配当含まず）の月次データだと、2008年12月末～2016年9月末の期間で、平均7.2%（年率換算）となって一番近い値になっていました。
（何らかの理由で、2008年度をバックテスト期間から除くことになって、そのせいでTOPIXを上回るリターンが出せなくなり、何とかバックテスト期間を調整して「TOPIX並み」になるようにした？）
ただ、公式の販売資料のパフォーマンスをみるとAI日本株式オープンは年率平均7.2%だったようなので、それと同じ結果ではないかとも思われます。
つまり、バックテスト期間は「2009年度～2016年度上期（2009年3月末～2016年9月末）」。
とはいえ、その場合、この間のTOPIX（配当含まず）の月次リターン（年率換算）は平均9.0%となっていますので「ほぼ並んだ」という表現とは合致していません。
（ではあるものの、「下回った」では印象が悪くなるので、あえて、具体的な数字は示さずに「ほぼ並んだ」という表現を使った？）
③ 2009年3月末～2016年9月末［年率平均：7.2％］
販売資料（三菱UFJ銀行）http://www.bk.mufg.jp/tameru/toushin/pdf/00349220.pdf
☞ 2009年度以降では、バックテストのパフォーマンスは月次でマイナスとなる月があったものの、年次ではすべてプラスを維持しました。
※ 2016年度のデータは９月末まで
☞ バックテストにおける月次騰落率：平均 0.6%
販売資料（三菱UFJ信託銀行）https://safe.tr.mufg.jp/cgi-bin/toushin/tsl.cgi/funds/03314172/hanbai_shiryou.pdf
カブドットコム証券「AI＜人工知能＞特集」
☞ 過去のシミュレーションにおける年間騰落率は、2009年度以降すべてプラスで、市場（国内株式）対比で安定したパフォーマンスが見込めるでしょう。
＜コメント＞
「年率平均」の値は、三菱UFJ銀行の販売資料からわかりました。月次騰落率の平均が0.6%と記載されていましたので、年率換算すると7.2%となります。
ちなみに、年度別騰落率の合計は54.1%となっています（累積リターンだと67.6%）。
ところで、公式の販売資料では、2008年度がバックテスト期間から消されています。
（この手の検証では、８年程度の検証期間だと短すぎると言われても不思議ではありません。ですので、2008年度をわざわざ消すというのは、普通は考えられません）
対外メディアなどでは、2008年度（リーマンショックの年）もプラスのリターンを獲得しており、下落局面でもプラスのリターンを獲得できる可能性がある運用手法だと宣伝していたにもかかわらず、です。
※ 年度別リターンをみると、販売用資料（三菱UFJ銀行）には、配当込みTOPIXの方の結果が掲載されていました。ちなみに、配当を含まない場合の結果と比べると以下のようになっています：
なお、年度別リターンは、特許申請時添付資料（①を参照）に記載のあった値とは、それなりに違いが生じています：
なぜ、2008年度がバックテスト期間から消えたの？
ところで、なぜ、公式の販売資料では、バックテスト期間から2008年度が消えているのでしょうか？
当初は、2008年度（リーマンショックの年！！）を含むすべての年度でプラスのリターンを獲得し、かつ、通年でもTOPIXを上回る結果を得たと主張していました。
本当だったとしたら、積極的に宣伝に使いたくなるような事実であるのに、なぜ、公式の販売資料では、わざわざ消してしまったのでしょうか？
（実際、AI日本株式オープンが販売される以前の記事だけではなく、その後に掲載されたインタビュー記事（先ほどの②でみた記事）の中でも、2008年度がプラスであったとアピールしています）
ちなみに「通年でTOPIXを上回ったという主張」については、そもそも、根拠がない（十分な証拠が提示されていない）と言えます。
なぜなら、分析期間の設定が７年半と短く、また、スタート時点が下落局面直前と非常に恣意的だからです（対TOPIXで一番勝ちやすい時期が設定されている）。
昔流行った低ボラティリティ戦略（ex. SPLV：Invesco S&P 500 Low Volatility ETF）」などもそうですが、
「対インデックスで、下落局面に強く、上昇局面では弱い」という特徴をもつとされる投資戦略は、
「分析期間に占める下落局面と上昇局面の割合」や「スタート時点が下落局面の直前かどうか」で、通年のパフォーマンスがブレやすくなります。
つまり、期間設定の仕方に結果がかなり依存します（にもかかわらず、通年のリターンの平均・標準偏差の値だけを提示して、インデックスよりも“効率的”な運用が出来ると主張する人までいました。）
この点については、時系列推移を見れば、一目瞭然だと思います。
出所：https://www.etfreplay.com/charts.aspx
とはいえ、バックテスト期間の設定が不適切だったからと言って「2008年度を除く」という対応を取ることは、常識的にはあり得ません。
そもそもバックテスト期間が短すぎますし（この手の検証では１５年程度でも短いと言う人も居ます）、出来るだけ多くの相場局面（上昇・下落・ヨコヨコ）を含むようにすべきです。
バックテスト期間を短くして、期間内から下落局面を除外してしまうなんて、ナンセンスです。
では、なぜこんな対応を取ってしまったのでしょうか。
この点については、以前も検討しましたが、おそらくは、「2008年度がプラスとなったのは、AIとは無関係（現物戦略のおかげ）だった」ためではないかと思います。
事実、特許申請時添付資料をみると、AIモデルは2008年度はマイナス寄与となっています。
※ 現物戦略：高配当シングルアルファ（マーケットニュートラル）
出所：特許情報プラットフォーム 審査書類情報 「人工知能（AI）を活用した絶対収益追求ファンド：三菱UFJ信託銀行」
また、AIを活用したファンド運用システムと謳いながら、不思議なことに、AI単独の判断ではウェイトはあまり動かさない設定にもなっていました。
AI単独の判断を反映させすぎると、2008年度がマイナス寄与となってしまい「すべての年度でプラスのリターンを獲得」と宣伝できなくなるので
バックテスト結果を見つつ、鉛筆を舐めながら、ウェイトへの反映度合をチューニングして決めたようにも見えます（オーバーフィッティングの問題が生じている）。
また、「フラクタルモデル」が抽出する情報（AIモデルへのインプットデータとして使われる他のテクニカル指標と同種のもの）を、インプットデータとして使わずに、あえて外出しにしたのも、結果をチューニングしやすくするためではないでしょうか？
（横文字のモデル名を登場させると“プレミアム感”が演出され、外出しにしたことへの注意がそがれやすくなりそう？）
※ なお、実運用では、担当者によるチャート分析の結果もAIモデルとは独立に反映させるとする記述もありました（参照）。
出所：特許情報プラットフォーム 「人工知能を用いたファンド運用システム：三菱UFJ信託銀行」
このように、「AIを活用した運用を行ったところ、すべての年度でプラスのリターンを獲得した」と言いながら、実は、「2008年度はAIモデルはマイナス寄与だった」のです。
そのため、このまま公式の販売資料に掲載するのは不都合（優良誤認になりかねない）と判断し、掲載を見送ったというのが真相ではないでしょうか？
（意図的に真実を隠して性能を偽っているように見えますが、図に掲載した期間内に限定してみれば、最悪、嘘をついたことにはなりません。）
実際、というのか、同じ資料のAIモデルの「学習効果」の検証（AIモデルに焦点をあてた検証）では、2009年11月スタートになっていました。
バックテストでは2008年スタートだったにもかかわらずです。2008年の予測結果は既に作成済みであるはずなのに、わざわざ、検証期間から除外されています。
2008年スタートにすると、AIモデルなのにマイナスになっている部分が嫌でも目立つため、それを避けたかったのではないでしょうか。
また、この期間に設定すれば、予測力の高いモデルが出来ていると見せかけやすいというのも理由かもしれません（予測精度評価の不誠実さ）。
でも、本当に、そんな騙すようなことをするの？とも思われたかもしれません。
ですが、事実として、見栄えの悪そうな期間を意図的に図から除外して、図から受ける印象をミスリードしようとしたこともありましたし、
予測力の高いモデルであると見せかけるために、検証期間を恣意的に選択したりもしていました。
また、後ほど詳しく書きたいと思いますが、このファンドではありませんが、もっと酷いことをしている事例を見たこともあります。
以前、「STAP細胞問題」が世間を騒がせ、その後も、不正論文が見つかるなどの事例が見られましたが、
残念ながら、資産運用の世界でも、高度な運用技術を活用しているなどと言いながら、実は「不正（性能偽装）」と呼ぶべき事例をしばしば見かけることがあります。
自動車などであれば、そのような不正は正されるのですが、「投資信託」という商品の場合は、まったく問題にはされません（事実上、公然と黙認されています）。
※ ex. 三菱自、岡崎に「過ちに学ぶ研修室」 不祥事語り継ぐ：日本経済新聞 / 三菱マテ改ざん また発覚：日本経済新聞
このような現実が、機関投資家を中心に進んだ「インデックス投資へのシフト」の隠れた主因（運用会社の専門性への不信感・失望）であったように感じています。