PHP Simple HTML DOM 抓取启用缓存的网站返回乱码的解决方案

本文旨在解决在使用 PHP Simple HTML DOM 库抓取启用了 WordPress 内部缓存的网站时，遇到的返回乱码问题。通过使用 cURL 并设置 CURLOPT_ACCEPT_ENCODING 选项，或使用 gzdecode() 函数，可以有效解决首次抓取正常，后续抓取出现乱码的情况，确保数据抓取的准确性。

在使用 PHP Simple HTML DOM 库进行网页抓取时，可能会遇到一种特殊情况：当目标网站启用了缓存机制（例如 WordPress 内部缓存）后，首次抓取能够正常获取页面内容，但后续的抓取却返回乱码。这通常是由于服务器返回了经过压缩的内容，而 Simple HTML DOM 库没有自动处理压缩数据导致的。

以下提供两种解决方案：

方案一：使用 cURL 并设置 CURLOPT_ACCEPT_ENCODING

立即学习“PHP免费学习笔记（深入）”；

cURL 是一个强大的网络请求库，通过设置 CURLOPT_ACCEPT_ENCODING 选项，可以告诉服务器客户端支持的压缩格式，并自动解压缩服务器返回的内容。

<?php  include('/simple_html_dom.php');  $url = "https://www.2311666.com.tw/";  $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $url); curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); curl_setopt($curl, CURLOPT_USERAGENT, 'Chrome/94.0.4606.81'); curl_setopt($curl, CURLOPT_ACCEPT_ENCODING, ""); // 关键：允许接受所有编码  $html_content = curl_exec($curl); curl_close($curl);  $html = new simple_html_dom(); $html->load($html_content);  echo $html;  ?>

代码解释：

1. curl_init(): 初始化一个 cURL 会话。
2. curl_setopt($curl, CURLOPT_URL, $url): 设置要抓取的 URL。
3. curl_setopt($curl, CURLOPT_RETURNTRANSFER, true): 设置 cURL 返回结果为字符串，而不是直接输出。
4. curl_setopt($curl, CURLOPT_USERAGENT, ‘Chrome/94.0.4606.81’): 设置 User-Agent，模拟浏览器请求。 建议根据实际情况设置合适的 User-Agent。
5. curl_setopt($curl, CURLOPT_ACCEPT_ENCODING, “”): 关键步骤，设置 CURLOPT_ACCEPT_ENCODING 为空字符串，表示接受服务器支持的所有编码格式，cURL 会自动处理压缩数据。
6. curl_exec($curl): 执行 cURL 请求，获取网页内容。
7. curl_close($curl): 关闭 cURL 会话。
8. $html = new simple_html_dom();: 创建 Simple HTML DOM 对象。
9. $html->load($html_content): 将抓取的 HTML 内容加载到 Simple HTML DOM 对象中。
10. echo $html;: 输出解析后的 HTML 内容。

方案二：使用 gzdecode() 函数

如果服务器返回的内容是 gzip 压缩的，可以使用 gzdecode() 函数手动解压缩。

<?php  include('/simple_html_dom.php');  $url = "https://www.2311666.com.tw/";  $opts = array(     'http' => array('header' => "User-Agent:Chrome/94.0.4606.81rn") ); $context = stream_context_create($opts); $html = new simple_html_dom(); $get = file_get_contents($url, false, $context);  // 检查是否是 gzip 压缩的数据 if (substr($get, 0, 2) == "x1fx8b") {     $get = gzdecode($get); }  $html->load($get);  echo $html;  ?>

代码解释：

1. substr($get, 0, 2) == “x1fx8b”: 检查返回的内容的前两个字节是否为 gzip 压缩文件的标志位 x1fx8b。
2. $get = gzdecode($get): 如果检测到是 gzip 压缩的数据，则使用 gzdecode() 函数进行解压缩。

注意事项：

• 确保 PHP 环境已启用 cURL 扩展。如果使用 gzdecode() 函数，确保 PHP 环境支持 zlib 扩展。
• 在某些情况下，服务器可能会返回其他类型的压缩数据（例如 deflate），需要使用相应的解压缩函数进行处理。
• 建议优先使用 cURL 方案，因为它能够自动处理多种压缩格式，更加灵活。
• 在抓取网站内容时，请遵守网站的 robots.txt 协议，避免过度抓取，以免对服务器造成不必要的负担。

总结：

当使用 PHP Simple HTML DOM 抓取启用缓存的网站出现乱码时，通常是由于服务器返回了压缩数据。 通过使用 cURL 并设置 CURLOPT_ACCEPT_ENCODING 选项，或使用 gzdecode() 函数，可以有效地解决这个问题，确保能够正确抓取和解析网页内容。 在实际应用中，应根据具体情况选择合适的解决方案。