HBaseを読む（７）必要な条件：ソフトウェア

ＮＨＮカンファレンスでもらったHBaseの本を、ざっと斜め読みして、適当にまとめるシリーズ「HBaseを読む」の続きです。

ちゃんとした情報を知りたい人は、HBaseの本を見てください。

今回は２．２．２から

---

２．２．２　ソフトウェア

２．２．２．１　オペレーティングシステム
　ここ２～３年で言えば、HBaseはLinux上で使われるのが好まれた
　HBaseクラスタの基盤としてよく使われているＯＳ
　　ＣｅｎｔＯＳ
　　Ｆｅｄｏｒａ
　　Ｄｅｂｉａｎ
　　Ｕｂｕｎｔｕ
　　Ｓｏｌａｒｉｓ
　　Ｒｅｄ　Ｈａｔ　Ｅｎｔｅｒｐｒｉｓｅ　Ｌｉｎｕｘ
　ユーザーにとって快適で、既存のインフラに適合するものを選ぶ


２．２．２．２　ファイルシステム
　利用されている一般的なファイルシステム
　　
　　ext3
　　　最終アクセス時刻処理を無効にするとパフォーマンス向上
　　　呼びブロック数を減らす→tune2fs -m 1 デバイス名
　　ext4
　　XFS
　　ZFS

　既存のインフラに適合するものを選ぶ

２．２．２．３　Ｊａｖａ
　バージョン１．６以上
　パスが見つからない場合
　　　conf/hbase-env.shのJAVA_HOMEの値を修正

２．２．２．４　Ｈａｄｏｏｐ
　特定のバージョンとだけ動作する
　　→リモートプロシージャコールに関係
　Ｈａｄｏｏｐをビルドしたくない場合、
　　パッチ適用済みのディストリを使う
　　clouderaのCDH3
　バージョンをあわせることが「きわめて重要」
　ミスマッチの場合
　　　エラーを返さず、固まったまま

２．２．２．５　ＳＳＨ
　リモートのデーモン管理に使う
　　sshがインストール、sshdが動作している
　　OpenSSH
　　ローカルノードを含む全てのノードで
　　　パスワードなしでSSHが動く必要
　　　→公開鍵のペア必要
　　　　パスフレーズも追加してください

２．２．２．６　ドメインネームサービス
　ＤＮＳの正引きと逆引き、どちらも動作していること
　正引きは、以下のコマンドで確認できる
　　　ping -c 1 ホスト名
　複数のインターフェース
　　　hbase.regionserver.dns.interfaceを設定
　別のネームサーバー
　　　hbase.regionserver.dns.nameserverを設定

２．２．２．７　時刻の同期
　クラスタノードのクロック：基本的に一致していること
　　　→クラスタでＮＴＰを動作等
　　　怪しい振る舞いを見たら、システムの時刻を確認

２．２．２．８　ファイルハンドラとプロセスの制御
　ulimit -nのデフォルトは１０２４：不十分。
　Ｉ／Ｏエラーになる
　１００００以上にする
　/etc/security/limits.confファイルのnprocの値
　　調節するのも考えるべきかも

※コラム ubuntuでのファイルハンドラーの設定
　/etc/security/limits.confに以下の行追加
hadoop - nofile 32768

hadoopは、HadoopとHBaseを実行しているユーザーに置き換え

　/etc/pam.d/common-sessionに以下の行をファイルの最後に追加
session required pam_limits.so

２．２．２．９　データノードのハンドラ
　Hadoopのconf/hdfs-site.xmlの
　xcievers（スペルが間違っている）の値
　最低でも4096
　　　この設定をしておかないとおかしな生涯

２．２．２．１０　スワップの多発
　よくない
　/etc/sysctl.confに以下の行を追加すると起こりにくくなる
vm.swappiness=5

２．２．２．１１　Windows
　お勧めできません

---

次回から２．３

採用難・・・ですよね・・・

このブログはコメントを受け付けていない。だから炎上しない。
なので、好き勝手なことを言わせてもらおう。

就職難じゃなくって、今って、採用難ですよね。
採用するほうが、思うとおりに取れない。
いや、大手は取れているの「かも」しれない（これはわからん）
でも、中小は、採用難だと思う。

その理由が、このニュースで判った気がする・・

＜学校基本調査＞大卒者の２３％　安定した仕事に就けず
http://headlines.yahoo.co.jp/hl?a=20120827-00000101-mai-soci


この２３％には、トリックがある。
大卒者のうち、非正規や、一時的（いわゆるフリーター）なのは、
３．５＋３．９＝７～８％、
昔も、このくらいのフリーターは、居たんじゃないか？
１０人に１人くらい、フリーターっていうのは、おかしな話じゃない気がする・・

問題は、のこりの１５．５％の、「進学も就職もしていない」
これ、昔と比べて多い気がする。
むかしも、「家事手伝い」という人はいたけど。。
専業主婦同様、結構昔の話で、最近は女性も就職していたような気がする
男性で「家事手伝い」は、いなかったよね。

そして、進学も、多くなっている。

つまり、就職する人が、少なくなってきているんじゃないか・・・？

---

この数字は、さらに注意が必要。

あくまでも、「大卒者」を考えている。
しかし、最近は、昔と違って、就職しないで大学留年、中退というのもいる。

もちろん、就職活動をして、就職できず留年するという人も居る。
だが、最近は、大学中に引きこもりになってしまい、そのまま留年あるいは中退という人もいるだろう。

それについては、

私大生の8人に1人が中退者になっていた!?
大学から生まれる“格差社会ニッポン”の恐るべき実態
ＮＰＯ法人NEWVERY山本繁理事長×ネットイヤーグループ石黒不二代社長【前編】
http://diamond.jp/articles/-/23780?page=4


によると、こんなかんじ（以下太字は、上記サイトより引用）


　日本の大学の現状を、「もし大学が100人の村だったら」と仮定して、ストレーターの数を計算しました。ストレーターとは、大学を4年で卒業して就職し、3年以上会社に勤めている人で、私たちの調査では31％くらいです。一方、中退は12人、留年13人、フリーターや無職は15人、大学院・専門学校進学は15人、離職は14人となりました。


中退、留年は多いのだ・・・

---

結局、いいところに就職しようとして、できなかったら、あきらめて、就職しなかったり、留年したり、大学院・専門学校に行ったりという人が多い。結果として、中小企業までは受けてくれず、中小企業は、採用難となっているし、今後もこの傾向は強まるんじゃないか？

Ｐ．Ｓ　大企業の採用難の理由は違うかもしれない。内定を多く取る人が、内定取り消しを引き伸ばすため、就活期間終了後に、大量の取り消し者が出て、採用枠を満たせない感じかも・・・