ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

Asakusa FrameworkのHadoop(MapReduce)離れ

2017-12-03 00:00:00 | PG(分散処理)

Asakusa Framework Advent Calendar 2017の3日目です。

2017/11/29に出たAsakusaFW 0.10.0(→リリースノート)の機能を紹介していきたいと思います。
最初はAsakusa on MapReduceの非推奨化です。
最近よく聞く「若者の○○離れ」ならぬ「AsakusaFWのHadoop(MapReduce)離れ」。
(AsakusaFWは若者(笑))

公開された当初は 実行基盤はHadoop(MapReduce)のみだったAsakusaFWですが、Spark, M3BPといった実行基盤に対応してきました。そして最近Asakusaコンパイラーも共通化が図られており、その過程でMapReduce版は非推奨にすることになったようです。(実行基盤が多ければ、それだけテストも増えますし)

まぁ、自分の経験では、自分が扱ってきたデータサイズならM3BPで充分であり、それより多くてもSparkで処理すればいい(ほとんどのケースでMapReduceよりSparkの方が実行速度が速い)ので、MapReduceが無くなってもそんなに困らないかもしれないですが…。
ちょっと衝撃的ではありますね^^;

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする