ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

ScalaのREPL上でHadoopのSequenceFileを操作する

2011-10-11 01:08:23 | PG(Scala)

ScalaのREPL上でHadoopのHDFSを操作するツールで、SequenceFileの表示部分を強化した。

Path(ファイル)に対してshowを実行すると、SequenceFileかどうかを自動判別し、SequenceFileであればWritableを文字列化して表示する。
WritableにtoStringが実装されていないときはゲッターメソッドを呼び出してそれらの値を表示する。
AsakusaFWのWritableはtoStringが実装されているのでそのまま表示する)

自分で言うのもナンだけど、超便利!(笑)

また、100件ずつ表示するmoreコマンドを用意。
catは今まで全件表示にしていたけれど、headと同じに変更。件数が多いファイルを不用意に指定すると悲惨なことになるという経験をしたので(爆)
tailはスキップバイト数(行数ではない)を指定できるようにしたので、大きなファイルの末尾でも高速化した。1行当たりのバイト数というのは計算では出せないので、スキップバイト数はユーザーが指定する必要があるけれど…。



最新の画像もっと見る

コメントを投稿