PHPでwebサイトクロールに挑戦 #2「HTMLの取得」

Pocket
LINEで送る
GREE にシェア
LinkedIn にシェア

#1 システム考案

webのクロール実践編です。

とりあえず、AJAXサイトの取得や、動的ページの対応などは、次回以降に考えるとして、静的ページのクロールとそこからのリンクページを再帰的にクロールしてみます。

今回取得するデータは、ページ内のリンク一覧を取得します。

基本構成

言語 : PHP

ソースコード

cli.php

実行

データフォルダ内にドメインのファイルができて、リンクが一式格納されます。

次回に内容を少し解説したいと思います。

Leave a Reply

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です