goo blog サービス終了のお知らせ 

ウィリアムのいたずらの、まちあるき、たべあるき

ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです(たま~にコンピューター関係も)

HBaseを読む(8)動作モード

2012-08-29 18:47:36 | AI・BigData
NHNカンファレンスでもらったHBaseの本を、ざっと斜め読みして、適当にまとめるシリーズ「HBaseを読む」の続きです。

ちゃんとした情報を知りたい人は、HBaseの本を見てください。

今回は2.3から




■2.3 HBaseのためのファイルシステム
・HBaseで最も使われているファイルシステムはHDFS
・HBaseで使っているファイルシステムはプラガブルなアーキテクチャ
   使えるファイルシステムがHDFSに限定されるわけではない
   これほど使われる理由:以下の特徴が組み込まれている
     レプリケーション、フォールトトレランス、スケーラビリティ
     →別のファイルシステムでも、同様の保証必要
・ファイルシステム
  Local:スタンドアロンモードで利用
  HDFS:分散クラスタのとき
  S3:rawモードとネイティブモード
  cloudStore

■2.4 インストールの選択肢
・サーバに載せる:いくつかの選択肢
   Apacheのバイナリリリース
   ソースからのビルド:Mavenを使う

■2.5 動作モード
2.5.1 スタンドアロンモード
  デフォルトの動作モード
  ローカルのファイルシステム使う

2.5.2 分散モード
 ・擬似分散モードと完全分散モードがある
   擬似分散モード
     単一ホストで実行される分散モード
     テスト、プロトタイプで使う
     conf/hbase-site.xmlを編集

   完全分散モード
     2つ以上のホストを使う
     以下の修正

      hbase-site.xml
        hbase.cluster.distributedをtrue
        hbase.rootdir

      リージョンサーバーの指定
        conf/regionservers

      ZooKeeperのセットアップ
        HBaseにZooKeeperの管理させる?
          conf/hbase-env.shのHBASE_MANAGES_ZK
         →zoo.cfg,conf/hbase-site.xmlで指定

        既存のZookeeperアンサンブルの利用

※コラム:zoo.cfgとhbase-site.xml
  zoo.cfgがある場合、
    hbase.zookeeper.quorum
    hbase.zookeeper.property.*
     →zoo.cfgの値が上書きされる
    zookeeper.*
     →hbase-site.xmlのみが参照

※コラム:いくつのZookeeperを走らせたらいいでしょうか?
  多いほど、ホスト障害に対する耐性は強まる
  奇数にしましょう(多数決で決めるため)




次回は、2.6から

この記事についてブログを書く
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする
« タブと、window.openを使わな... | トップ | HBaseを読む(9)設定 »
最新の画像もっと見る

AI・BigData」カテゴリの最新記事