よく自分の技術(phpだけ)でクローラーって作れるのか?
って思うんだけど、ちょっとした光を発見!
Webスクレイピングを可能にするPHPライブラリ・htmlSQL
Webスクレイピングっていうのは、部分的にHTMLを取得・抽出することらしい。
んで、htmlSQLっていうPHPライブラリを用いる事で容易に取得できるみたいなのだ☆
これ使ってデータベースと連携すればクローラー作れるんじゃねぇ?
って昨日、思った。
まあ、cronで取得を自動化させたり
サーバーへの負担はまるで考えてないんだけど…
たしかGoogle様はPythonでクローラーを作成していたって聞いたことあるけど
phpだけでいつかクローラーを作成してみたいと考えるのでした。
でもphpもバージョンアップしたりしたらもっとサーバーとかに優しいプログラムに
変化していくだろうし…
やってみる価値はあるかもね。
でも、簡易でもクローラーできたら検索エンジンサイトもできるから
その仕組みを売ったり、自分で運営したり、
それもビジネスの一つかもね。営業力も必要だけど…
って思うんだけど、ちょっとした光を発見!
Webスクレイピングを可能にするPHPライブラリ・htmlSQL
Webスクレイピングっていうのは、部分的にHTMLを取得・抽出することらしい。
んで、htmlSQLっていうPHPライブラリを用いる事で容易に取得できるみたいなのだ☆
これ使ってデータベースと連携すればクローラー作れるんじゃねぇ?
って昨日、思った。
まあ、cronで取得を自動化させたり
サーバーへの負担はまるで考えてないんだけど…
たしかGoogle様はPythonでクローラーを作成していたって聞いたことあるけど
phpだけでいつかクローラーを作成してみたいと考えるのでした。
でもphpもバージョンアップしたりしたらもっとサーバーとかに優しいプログラムに
変化していくだろうし…
やってみる価値はあるかもね。
でも、簡易でもクローラーできたら検索エンジンサイトもできるから
その仕組みを売ったり、自分で運営したり、
それもビジネスの一つかもね。営業力も必要だけど…