ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

AsakusaFWでテキストファイルを扱う方法

2011-09-02 04:31:50 | PG(分散処理)

Asakusaフレームワークでファイルを扱う場合、基本的にSequenceFileを対象としている。

テストで実行する場合は自動的にファイルを作ってくれるのでどんな種類のファイルでも構わないが、実際に使う際にテキストファイルを入力としたい場合は専用のInputFormatを作る必要がある。

ちなみに、HadoopのTextInputFormatはそのままでは使えない。
TextInputFormatはキーがLongWritableで値がTextとなる。AsakusaFWではキーは無視されるので何でもよいが、値はデータモデルである必要がある為。

という訳で、AsakusaFWでテキストファイルを読み込む為のInputFormatを作ってみた。

コメント (1)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする