MySQLやPostgreSQL,OracleのようなDBはもちろん、HadoopもHiveを使って、
Javaのプログラムをグラフィックに作成して、ソースコードを自動生成、実行できる、
オープンソースのETLソフトウエアがある。
それが、Talend Open Studio
Talend
http://jp.talend.com/index.php
といってもわかりにくいので、その様子を示す。こんなかんじ。
この図、真ん中の上のほうが、ジョブ内容を示していて、
MySQLのあるテーブルの内容(MySQLSample1に規定)を、
CSVファイル(tFileOutputDelimited_1に規定)に書き出すというもの
これをグラフィカルに定義している。で、下の実行ボタンをクリックすると、実行する。
これを、以下のように、tLogRowにつなぎ変えて、下の実行ボタンをクリックすると、
(tLogRowは、コンソールに内容を表示するので)
なふうに、下のほうに、データベースの内容がでてくる。
どうしてこんなことができるの?というと、実は、図に対応するJavaのコードを、
のように自動生成していて、これを実装している
(実は、これ、Eclipseのプラグインらしい)
MySQLやPostgreSQL,OracleのようなDBはもちろん、Hiveも、こんなふうに
対応してるみたい(まだ使ったことないので、よくわかんないけど)
このTalend Open Studioについて、今後、何回か、書く予定。