猫山さんの日記

写真付きで日記や趣味を書くならgooブログ

Fessを試してみよう(13)クローラ上限とスレッド上限

2022-06-14 | 日記

すべてのクローラーを有効にして稼働させてみたら、
ロードアベレージが17になってしまった。
クローラーは今後もっと作るので、このままではいけない。

これについては、ちゃんと制御する方法があった。
・同時に稼働するクローラー数の上限
 システム->全般->同時クローラー設定(標準5)
・クローラーごとのスレッド数の上限
 クローラー->スレッド数(標準5)
デフォルトのままだと5X5=25スレッド稼働してしまうんだね。
とりあえずクローラーのスレッド数を1にしておいた。

寝る前に、/var/log/fess/fess-crawler.logを見てみると、
クローラーが4つしか動いていない。
Crawler-YYYYMMDDHHMMSS-1-1
Crawler-YYYYMMDDHHMMSS-2-1
Crawler-YYYYMMDDHHMMSS-3-1
Crawler-YYYYMMDDHHMMSS-4-1
最後の数字がスレッド番号で、その前がクローラー番号のようだ。
そうか、他のクローラーは完了してしまったんだ。
この設定だと最後の方がとてもゆっくりになってしまう。
同時クローラー設定を1にして、
クローラーごとのスレッド数を5にすべきだった。
仕方がない、終わるまで待ってから直そう。



最新の画像もっと見る

コメントを投稿