遂に…

はてなのスパイダリングを開始できた。
とりあえず過去の人気記事をすべて集めている。
途中でデータベースの接続のエラーっぽいのが出ているが原因不明。
まぁ少しくらいデータを取り逃してもいいかなという感じ。

まだ定期的に巡回する方はまだ処理が甘いのでそっちは開始できていない。
定期的に巡回する場合に、すでにDBに登録されている場合どうするかという問題がある。
時間がたっても記事自体に変更は無いが、タグやユーザ数は変わっていくのでそれをどうするかといった感じ。
考えはあるにはあるが、それは無駄な処理のような気がしてまだ決めかねている。
修正するにもソースが汚すぎて、直す気になれないorz
あと巡回の頻度をどれくらいにするかも悩む。

他にもlivdoor clipとYahooファイナンスのニュースも取る予定。
そういえばGoogleニュースを再開さないといけなかったような…