ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

AsakusaFW0.5.2 Gradle対応!

2013-11-20 23:32:37 | PG(分散処理)

今日Asakusa Framework0.5.2がリリースされたので、例によってちょっと見てみる。
リリースノートChangelogs

一番大きなのは、やはりGradle対応(#301)だろうなぁ。まだ実験的(experimental)な機能という扱いだけど。
今までMavenを使ってプロジェクトを作ったりコンパイルしたりしていたが、Mavenを使わずにGradleで実行できるようになるらしい。今度の週末に試してみよう(笑)


次に大きなのは、Direct I/O CSVDirect I/O TSVのデータ圧縮解凍機能。(#305)
Direct I/OなのでHDFSとAmazon S3が対象。
ネットワークとCPUを比べてネットワークの方がボトルネックになっている場合は、ファイルを圧縮しておくと実行速度的に有利になる可能性がある。
別の視点として、Amazon S3は格納しているファイルサイズとダウンロード量に応じて課金されるので、圧縮しておくとその分安くなる(笑)

個人的に重大なのは、この圧縮機能は、DMDLの属性(@directio.csvおよび@directio.tsv)にcompression要素を指定して使う、という事。
DMDL EditorX(DMDL Editor Eclipseプラグイン)の属性追加ウィザードにこれを追加しないとイカン(笑)
ただ追加するだけなら簡単なんだけど、単純に追加するとAsakusaFW0.5.2より前でエラーになってしまうので、バージョンを見ないといけない。が、バージョンによって仕様が変わると思ってなかったので、そういう仕組みになってない(爆)から、作りこまないとイカン^^;

(あー、そういえば、JinrikishaDMDL Editorプラグインの紹介ページもDMDL EditorX用に修正してもらいました(笑))


Amazon S3関連でもうひとつ変わっている箇所がある。(#308
0.5.1ではDirect I/OをAmazon S3(EMR)で使う際の設定例でcom.asakusafw.directio.s3.fragment.minに-1を設定していたが、0.5.2では設定例から削除された。

EMRだかHadoopだかの古いバージョン(つまりAsakusaFW0.5.1の頃)はS3上のファイルのデータ分割が遅延する問題があって、それを回避する為に入力データを分割しない指定が推奨されていたが、今は直っているので、分割の指定はデフォルト状態(設定例に記載しない)になったようだ。 


TestDriverに関する修正(#303)も目を引いた。
これってたぶん、AsakusaFWのMLにあったFlowPartTesterでのエラーの件の修正じゃないかと思う。 


個人的にもうひとつ良かったのは、#300の修正。
DMDLで「a=b;b=c;c=a;」みたいな循環参照を定義すると当然エラーになるんだけど、エラーメッセージ中のエラー箇所を示す部分がnullだったんだよね(笑)
そうするとDMDL Editorでエラー箇所を示せないから困ってたので、この修正は嬉しい。
まだ試してないけど、DMDL Editorでもちゃんとエラー箇所を示せるようになった
はず^^;

循環参照のデータモデルを定義する人がどれくらいいるのか疑問といえば疑問だけど(爆) 



最新の画像もっと見る

コメントを投稿