Torque(OpenPBS) のインストール＆設定

以前のクラスタでは SCore 5.8.3 をインストールして SCore に付属の PBS をジョブマネージャーに用いていたが、今度は SCore を使用しないので自分でジョブマネージャーを用意する必要がある。Sun Grid Engine あるいは Condor なども視野に入れたが、OS が新しいのと小規模なクラスタ計算機での運用なので TORQUE Resource Manager (旧 OpenPBS)を用いる。これはフリーのソフトで性能や機能的にも現在の規模で運用するには十分なのでインストール＆設定作業を行った(以下細かい手順は省略)。

1: 上記のサイトからソースを得る。全部のノード(Server & Compute nodes)で configure & make & make install
計算ノードでは pbs_mom 以外は必要無いようだが、面倒なので全部入れる。ここでインストール先を NFS のディレクトリにはしない方が良い。
2: /etc/services(全ノード), /var/spool/torque/server_priv/nodes(サーバーノード), /var/spool/torque/mom_priv/config (計算ノード) の設定。
3: qmgr によるキューの設定。torque.setup というコマンドがあるが使い勝手はいまいち。pbs_server -t create は手動で行う。
4: pbs_server, pbs_sched(サーバーノード), pbs_mom(計算ノード) の起動。

出来たら
pbsnodes -a
や
momctl -d 3
などで確認

気がついたこと
1: /var/spool/torque/server_priv/nodes の中で
hogehoge1.ac.jp np=4
というように np=4 というように１ノード中の CPU 数（あるいはコア数)を記述しないと 1 ノード中に 1 CPU しかないように見える。
2: qmgr の設定で
set queue sdpa resources_max.nodes=4
set queue sdpa resources_max.ncpus=4
というように設定しないと、CPU 数(コア数)を超えてジョブが割り当てられてしまう。
3: MPI 化された並列ソフトウェアをキューに投入するときに以下ファイル sdpa.shを作成して qsun sdpa.sh とすると SDPARA(ファイル名 : sdpara.mpich2) が 16 CPU(4ノード×4コア)で実行される。下記の node.list は確認のため。無くても構わない。sdpara.mpich2 は MPICH2 で make されたバイナリ。

--- sdpa.sh ---
#!/bin/sh
#PBS -l ncpus=4
#PBS -l nodes=4
cat $PBS_NODEFILE > /home/sdpa/prog/new/sdpara/node.list
mpiexec -n 16 /home/sdpa/prog/new/sdpara/sdpara.mpich2 -ds /home/sdpa/src/sdplib/theta5.dat-s -o /home/sdpa/tmp/out3 -p /home/sdpa/prog/new/sdpara/param.sdpa