HadoopのJob Trackerのログをtsvファイルに変換するrubyスクリプト

背景 hadoopでErrorが発生したが、原因が簡単に特定できない。mapフェイズでコケているのに、job trackerのログの最後には、「# of failed Reduce Tasks exceeded allowed limit\. FailedCount: 1\. LastFailedTask: task_*****_0001_r_000030」というエラーが表示される（タスクの名前 . . . 本文を読む

ことえりが削除できないときの対処法

背景 Google IMEなどをインストールしたので、ことえりを削除しようとする。 「システム環境設定」→「言語と地域」の画面が のように日本語以外になっている場合は、 OSX10.9(Mavericks)でのIME設定で「ことえり」が削除できないときの対処法に従い、 にする必要がある。ところが、「システム環境設定」→「言語と地域」→「日本語」選択→「"キーボード . . . 本文を読む

EMR(Elastic MapReduce)用sshのconfig設定例

背景 毎度、hadoop@... とか、yesを選択したりとか、port forwardとかコマンドライン（のオプション）で書くのは面倒。 ssh/config例 自分は次のように作っている。 Host *.compute.amazonaws.com # EMR以外と被るかも IdentityFile ~/.ssh/your-aws.pem # 毎回鍵を指定するのは . . . 本文を読む

Hadoopでstream.num.reduce.output.key.fieldsを使うとき(combinerで複数fieldのkey)

背景 HadoopのStreamingにてkeyが複数のfieldで構成(stream.num.map.output.key.fieldsで2以上を指定)されるときで、combinerを使うと、なぜかreducerに入力されるデータは複数のfieldとするkeyでソートされない。 解決策 reduceに入る前にソートして欲しいキーの数を、謎※のパラメータstream.num.reduce.o . . . 本文を読む

AWS CLI でフォルダ(ディレクトリ)の名前変更(mv)を行う方法

背景 と述べるほどでもないが、AWS CLIのmvのドキュメントにははっきりと書かれていない。（実は(7)が最も近い） 結論 ない。ただし、--recursive オプションで、ファイル単位でmvすることができる。例 aws s3 mv s3://mybucket/folder1 s3://mybucket/folder2 --recursive 上記のコマンドを実行した場合 . . . 本文を読む