goo blog サービス終了のお知らせ 

ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

Asakusa Framework 2021年の動向

2021-12-02 00:00:00 | PG(分散処理)

AsakusaFW & Tsurugi Advent Calendar 2021の2日目です。

Asakusa Frameworkの今年のアップデート情報を書いておきます。

「何の成果も!!得られませんでした!!」

今年は一度もバージョンアップが無かったですね^^;
それどころか、今年の3月でAsakusaFWが公開されてから10周年だったらしいですが、公式発表すら無かったですからね^^;
それだけAsakusaFWが安定しているというか、AsakusaFWの開発者がTsurugiの開発に集中しているということなのでしょう^^;


AsakusaFWとTsurugiの関係

2021-12-01 00:00:00 | PG(分散処理)

AsakusaFW & Tsurugi Advent Calendar 2021の1日目です。

Asakusa Frameworkのアドベントカレンダーは毎年書いてきたんですが、いつもほぼ一人で書いてきてさすがにネタ切れが激しいので、今年は、現在絶賛開発中であるRDBMSのTsurugiも話題に含めることにしましたw

なぜAsakusaFWTsurugiという組み合わせかと言うと、
自分が興味あるもの同士だから…という本音は隠しておくことにして、
AsakusaFWの開発者がTsurugiの開発に関わっているから…というのも表向きは関係なくて。

既存のRDBを対象としたバッチアプリケーションをAsakusaFWで書き直すと、バッチ本体の実行速度は大抵速くなるんですが、RDBからデータを取ってきたりRDBにデータを書き戻したりする箇所(主にEmbulkでcsvファイルにしたり、csvファイルからDBに書き戻す)がどうしてもネックになりますorz
なので、AsakusaFWから効率よく送受信できるRDBが欲しいなぁと思っていたわけです。
Tsurugiがそうなると決まったわけではないですが(特にTsurugiが初公開される時点では、AsakusaFWとそういった連携は出来ないでしょう)、そうなることを期待しています。

個人的には、「AsakusaFWが一番、Tsurugiを上手く使えるんだ!」と言えるようになると嬉しいですね(笑)


asakusa run

2020-12-24 22:54:23 | PG(分散処理)

Asakusa Framework Advent Calendar 2020の24日目です。

Asakusa CLI(asakusaコマンド)のサブコマンドにrunというものがあります。
これは、バッチを実行するサブコマンドです。

asakusa run バッチID -A 引数=値

run以外のサブコマンドは情報表示用ですが、runはバッチを実行するので、かなり毛色が違いますね。

バッチを実行するには従来からYAESSというシェルがあり、asakusa runという手段が出来ても、本番環境でのバッチの実行はYAESSで行うべきということは変わっていないようです。

ではasakusa runは何に使うかというと、テスト環境でバッチを実行したい場合、特にWindows環境で実行したい場合に使用します。
YAESSはシェルなのでLinux上でしか使えませんが、asakusaコマンドはLinux用のシェルとWindows用のcmdファイルが提供されているので、Windows上でもバッチを実行できるのです。

とは言っても、M3BPSparkはWindows上では動かせないので、ピュアJavaの実行環境であるVanillaで実行することになると思います。


asakusa generate ddl

2020-12-23 12:18:09 | PG(分散処理)

Asakusa Framework Advent Calendar 2020の23日目です。

Asakusa CLI(asakusaコマンド)のサブコマンドにgenerate ddlというものがあります。
これは、バッチが使用しているデータモデル(Direct I/O HiveのDMDL)からApache HiveのDDLを生成するものらしいです。

asakusa generate ddl hive バッチID

個人的にはHiveはあまり好きでないんですが(なんでもかんでもSQLで扱おうとするな!)、Hiveのメタストアは意外と使われているみたいなんですよね(AWSとか)。


asakusa generate dot

2020-12-22 17:23:06 | PG(分散処理)

Asakusa Framework Advent Calendar 2020の22日目です。

Asakusa CLI(asakusaコマンド)のサブコマンドにgenerate dotというものがあります。
これは、バッチに含まれる演算子(Operator)が実行される順序の図(グラフ)を生成するものです。

asakusa generate dot operator バッチID -o 出力先ファイル

これでdotファイルが作られるので、Graphvizに渡すと図が表示されます。