ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

Sqoopのソース

2012-06-19 23:51:43 | PG(分散処理)

Sqoopがどういう風にSQLを実行しているのか興味があったので、ちょっと見てみた。

まずはソースのダウンロードだけど、普通にCDH3ダウンロードサイトからダウンロードする。
Hadoopのソースだとyumでダウンロードできるんだけど…まぁ、Sqoopのソースはそこまで需要無い気もするから、仕方ないかw

で、とりあえずexportに関する部分を見てみたんだけど、びっくり!
HDFS上のファイルを読み込む部分と、DBへINSERTする部分が別スレッドになってる!
まさかそんな作りになっているとは思わなかった。けっこう凝ってるんだなぁ。


コメント    この記事についてブログを書く
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする
« Sqoop Oracle | トップ | OraOop1.5.0 orz »
最新の画像もっと見る

コメントを投稿

PG(分散処理)」カテゴリの最新記事