ウェブ上の必要なデータを抽出する方法-スクレイピング-

え~と、ネタ切れです。。。今更なんですがスクレイピングをネタにしようかな~なんて。。。
書くネタあるんですけど、ちょっとまとめるのに時間がかかりそうなものばかりなんでちゃちゃっと書けそうなものを選びました。。
PHP Simple HTML DOM Parserについて書きたいと思います。

かなり出回っているのでかなり情報があると思います。
でもこれはほんといいっすよー!

イメージで言ったらウェブ上の必要な箇所をザクっと切り出してくれるという感じですね。
無許可で人のサイトを取り出さないようにしてくださいね。


スポンサーリンク

PHP Simple HTML DOM Parserの使い方

まずここからダウンロードしてきてください。
そしてダウンロードしてきたものを解凍して「simple_html_dom.php」このファイルだけをアップします。他のファイルはマニュアルとかサンプルなので必要な応じてお使いください。

//ファイルを読み込みます
require_once('simple_html_dom.php');
// file_get_htmlで取り込みたいURLを指定してやります。例で朝日新聞のヘッドライン部分です。
$html = file_get_html('http://www.asahi.com/');
// findメソッドで取り込みたい場所を指定してやります。jQueryっぽい指定ができてとても簡単!
foreach($html->find('#HeadLine .Guest li') as $list) {
            echo $list->outertext;
        }
//クリアーして開放してやります!
$html->clear();
unset($html);

これでヘッドライン取得できます!めちゃ簡単ですね!

ただこれだと文字化けする可能性があるのとヘッドラインの一番上の部分が取得できていないのです。

そして下記のようにするとうまくいきます。

require_once('simplehtmldom/simple_html_dom.php');
$html = file_get_html('http://www.asahi.com/');
mb_language('Japanese');
$url = 'http://www.asahi.com/';
$contents = file_get_contents($url);
$content = mb_convert_encoding($contents, 'UTF-8', 'auto');
$html = str_get_html($content);
echo $html->find('.Guest dl.FstTitle', 0)->outertext;
        foreach($html->find('#HeadLine .Guest li') as $list) {
            echo $list->outertext;
        }
        $html->clear();
        unset($html);

URLやファイルから要素を取得する方法

・HTMLを読み込む場合はstr_get_html

str_get_html('

HelloWorld

テストです!

');

・URLやファイルを読み込む場合はfile_get_html

file_get_html('https://php-fan.org/');

オブジェクトを使っての読み込みもできます!

$html = new simple_html_dom();

・オブジェクトにした時のHTMLを読む込む場合はload

$html->load('

HelloWorld

テストです!

');

・オブジェクトにした時のファイルやURLから読み込む場合はload_file

$html->load_file('https://php-fan.org/');

・要素を指定して取り込む

$html->find('#sample ul li');
$html->find('#test a');

取得した要素の出力方法

$html->load('

サンプルです。

2012年6月14日
テストです。
')

・plaintext
単純にテキストのみです。タグなどは取り除かれます。

echo $html->find('#sample', 0)->plaintext;  
=> サンプルです。2012年6月14日テストです。

・innertext
指定した要素の内側を取り出します。下記の例の場合だと#sampleは含まれないことです。

echo $html->find('#sample', 0)->innertext;  
=> 

サンプルです。

2012年6月14日
テストです。

・outertext
指定した要素を含む全体を出力します。下記の例では#sampleを含む以下を出力します。

echo $html->find('#sample', 0)->outertext;
=> 

サンプルです。

2012年6月14日
テストです。

いろいろな使い方があります。詳しくはマニュアルを見るとわかりやすいです。

→応用編の記事はコチラ
マニュアルはコチラ

デモサイトは当サイトの人気記事を取り込んでいます。

デモサイト

3件のコメント

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です