phpをどうにかやってみたい僕の日々

プログラム言語であるPHPをちょっと本気でやってみようという自分自身を奮起させる為のブログ。

phpでクローラー作成は可能なのかを思案してみる。

2011年01月26日 | etc日記
よく自分の技術(phpだけ)でクローラーって作れるのか?
って思うんだけど、ちょっとした光を発見!

Webスクレイピングを可能にするPHPライブラリ・htmlSQL

Webスクレイピングっていうのは、部分的にHTMLを取得・抽出することらしい。
んで、htmlSQLっていうPHPライブラリを用いる事で容易に取得できるみたいなのだ☆

これ使ってデータベースと連携すればクローラー作れるんじゃねぇ?
って昨日、思った。

まあ、cronで取得を自動化させたり
サーバーへの負担はまるで考えてないんだけど…

たしかGoogle様はPythonでクローラーを作成していたって聞いたことあるけど
phpだけでいつかクローラーを作成してみたいと考えるのでした。

でもphpもバージョンアップしたりしたらもっとサーバーとかに優しいプログラムに
変化していくだろうし…

やってみる価値はあるかもね。

でも、簡易でもクローラーできたら検索エンジンサイトもできるから
その仕組みを売ったり、自分で運営したり、
それもビジネスの一つかもね。営業力も必要だけど…