Tag Archives: nodejs

web-845805_1280

[Nodejs] APIを利用せずにWEBサービスを利用したい。 #2「URLからページ内のリンク一覧を取得」

WEBページクローラーの基盤構築を考えていた時に、nodejsを利用するのは最近のトレンドなので、とりあえず波に乗ってみたいと思います。 ただ、今回はクローラーの基本として、単一ページのリンク一覧を取得する事を目的としま […]

Continue reading »
web-845805_1280

[Nodejs] APIを利用せずにWEBサービスを利用したい。 #1「Google検索をして初回ページをスクレイピングする」

Googleの検索エンジンがSSL対応してから、リファラも取得できないので、検索キーワードがWEBサイト側から取得できなくなり、非常に不便に感じていますが、YahooもGoogleエンジンを採用し、SSL対応もしてしまっ […]

Continue reading »
1 2