ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

Hadoop0.23 YARN コンテナー呼び出し

2011-11-27 13:07:33 | PG(分散処理)

Hadoop0.23のYARNの実験の続き。前回はコンテナー呼び出しまで行かなかったが、今回は呼び出してみた
…呼び出しただけで、結果の取得はやれてない(爆)

クライアントとアプリケーションマスター間は進捗状況を伝えたり完了あるいは失敗を伝えたりする仕組みが用意されているけど、
末端のコンテナーはJavaプログラムである必要すら無いので、逆にアプリケーションマスターと通信しあうような仕組みは特に無いっぽい(今のところ見つけていない)。

それにしてもYARNは一から実装するんで大変だけど、大部分は定型的なコーディングになりそうではある。
Javaのアプリマスターを呼び出す場合、クライアント側はかなりの部分が共通化できそう。
参考ソース(共通部分:YarnClient、独自部分:Sample2Client)

コンテナープログラムはmain()から呼ばれる普通のプログラムなので特に問題は無い。(アプリマスターに何か渡そうとしない限り)

アプリマスターはコンテナー呼び出しと結果の取得や失敗時のリランまでやらないといけないので、やはり一番大変。



最新の画像もっと見る

コメントを投稿