PHPのcURLを使ったWebスクレイピング入門！初心者でも簡単に学べる方法

1. PHPのcURLとは？

1. PHPのcURLとは？

PHPのcURLは、インターネット上のデータを取得するための機能です。Webスクレイピングと呼ばれる手法の基本となります。Webスクレイピングとは、人間がブラウザでページを見て情報を読む代わりに、プログラムで自動的に情報を取得することを指します。初心者でもcURLを使うことで、簡単にニュース記事や天気情報、商品情報などを自動で集められます。

2. cURLを使う準備

2. cURLを使う準備

まず、PHPにcURLがインストールされているか確認する必要があります。WindowsやMacでは、PHPの設定でcURLが有効になっているか確認してください。有効であれば、すぐにスクレイピングを始めることができます。もし有効でなければ、php.iniという設定ファイルでextension=curlのコメントを外すだけです。

初心者向けに例えると、cURLは「データを取りに行く郵便屋さん」のようなものです。郵便屋さんが来る前に準備しておくことで、確実に情報を受け取れます。

3. 基本的なcURLの使い方

3. 基本的なcURLの使い方

cURLを使ってウェブページのHTMLを取得する基本的なコードは以下の通りです。

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://example.com/");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$html = curl_exec($ch);
curl_close($ch);

echo $html;

上記コードの説明：

• curl_init()：cURLを初期化
• curl_setopt()：取得するURLや設定を指定
• curl_exec()：実際にデータを取得
• curl_close()：cURLを閉じて終了

4. 取得したHTMLから特定の情報を取り出す方法

4. 取得したHTMLから特定の情報を取り出す方法

取得したHTMLから必要な情報だけ取り出すには、preg_matchやDOMDocumentを使います。例えば、ページのタイトルだけ取得する場合：

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://example.com/");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$html = curl_exec($ch);
curl_close($ch);

preg_match("/<title>(.*?)<\\/title>/", $html, $matches);
echo "ページタイトルは: " . $matches[1];

このコードでは、正規表現を使って