NHNカンファレンスでもらったHBaseの本を、ざっと斜め読みして、適当にまとめるシリーズ「HBaseを読む」の続きです。
ちゃんとした情報を知りたい人は、HBaseの本を見てください。
今回は2.3から
■2.3 HBaseのためのファイルシステム
・HBaseで最も使われているファイルシステムはHDFS
・HBaseで使っているファイルシステムはプラガブルなアーキテクチャ
使えるファイルシステムがHDFSに限定されるわけではない
これほど使われる理由:以下の特徴が組み込まれている
レプリケーション、フォールトトレランス、スケーラビリティ
→別のファイルシステムでも、同様の保証必要
・ファイルシステム
Local:スタンドアロンモードで利用
HDFS:分散クラスタのとき
S3:rawモードとネイティブモード
cloudStore
■2.4 インストールの選択肢
・サーバに載せる:いくつかの選択肢
Apacheのバイナリリリース
ソースからのビルド:Mavenを使う
■2.5 動作モード
2.5.1 スタンドアロンモード
デフォルトの動作モード
ローカルのファイルシステム使う
2.5.2 分散モード
・擬似分散モードと完全分散モードがある
擬似分散モード
単一ホストで実行される分散モード
テスト、プロトタイプで使う
conf/hbase-site.xmlを編集
完全分散モード
2つ以上のホストを使う
以下の修正
hbase-site.xml
hbase.cluster.distributedをtrue
hbase.rootdir
リージョンサーバーの指定
conf/regionservers
ZooKeeperのセットアップ
HBaseにZooKeeperの管理させる?
conf/hbase-env.shのHBASE_MANAGES_ZK
→zoo.cfg,conf/hbase-site.xmlで指定
既存のZookeeperアンサンブルの利用
※コラム:zoo.cfgとhbase-site.xml
zoo.cfgがある場合、
hbase.zookeeper.quorum
hbase.zookeeper.property.*
→zoo.cfgの値が上書きされる
zookeeper.*
→hbase-site.xmlのみが参照
※コラム:いくつのZookeeperを走らせたらいいでしょうか?
多いほど、ホスト障害に対する耐性は強まる
奇数にしましょう(多数決で決めるため)
次回は、2.6から
ちゃんとした情報を知りたい人は、HBaseの本を見てください。
今回は2.3から
■2.3 HBaseのためのファイルシステム
・HBaseで最も使われているファイルシステムはHDFS
・HBaseで使っているファイルシステムはプラガブルなアーキテクチャ
使えるファイルシステムがHDFSに限定されるわけではない
これほど使われる理由:以下の特徴が組み込まれている
レプリケーション、フォールトトレランス、スケーラビリティ
→別のファイルシステムでも、同様の保証必要
・ファイルシステム
Local:スタンドアロンモードで利用
HDFS:分散クラスタのとき
S3:rawモードとネイティブモード
cloudStore
■2.4 インストールの選択肢
・サーバに載せる:いくつかの選択肢
Apacheのバイナリリリース
ソースからのビルド:Mavenを使う
■2.5 動作モード
2.5.1 スタンドアロンモード
デフォルトの動作モード
ローカルのファイルシステム使う
2.5.2 分散モード
・擬似分散モードと完全分散モードがある
擬似分散モード
単一ホストで実行される分散モード
テスト、プロトタイプで使う
conf/hbase-site.xmlを編集
完全分散モード
2つ以上のホストを使う
以下の修正
hbase-site.xml
hbase.cluster.distributedをtrue
hbase.rootdir
リージョンサーバーの指定
conf/regionservers
ZooKeeperのセットアップ
HBaseにZooKeeperの管理させる?
conf/hbase-env.shのHBASE_MANAGES_ZK
→zoo.cfg,conf/hbase-site.xmlで指定
既存のZookeeperアンサンブルの利用
※コラム:zoo.cfgとhbase-site.xml
zoo.cfgがある場合、
hbase.zookeeper.quorum
hbase.zookeeper.property.*
→zoo.cfgの値が上書きされる
zookeeper.*
→hbase-site.xmlのみが参照
※コラム:いくつのZookeeperを走らせたらいいでしょうか?
多いほど、ホスト障害に対する耐性は強まる
奇数にしましょう(多数決で決めるため)
次回は、2.6から