本文介绍了如何使用PHP的DOMDocument和DOMXPath类，结合XPath表达式，将包含状态信息的HTML无序列表转换为结构化的多维数组，并最终输出为JSON格式。重点在于使用XPath准确提取所需数据，并处理HTML中的空白字符，确保数据的准确性和可读性。
使用XPath解析HTML无序列表并转换为多维数组
在Web开发中，经常需要从HTML文档中提取数据。当数据以特定结构（例如无序列表）呈现时，使用XPath可以方便地定位和提取所需的信息。本教程将演示如何使用PHP的DOMDocument和DOMXPath类，将HTML无序列表转换为多维数组，并最终输出为JSON格式。
1. 加载HTML并创建DOMXPath对象
首先，需要将HTML字符串加载到DOMDocument对象中，并创建一个DOMXPath对象，以便使用XPath表达式查询DOM树。为了去除HTML中可能存在的空白字符，提高数据提取的准确性，可以使用自定义的loadHTML_noemptywhitespace函数。
立即学习“前端免费学习笔记（深入）”；
function loadHTML_noemptywhitespace(string $html, int $extra_flags = 0, int $exclude_flags = 0): DOMDocument { $flags = LIBXML_HTML_NODEFDTD | LIBXML_NOBLANKS | LIBXML_NONET; $flags = ($flags & ~ $exclude_flags) | $extra_flags; $domd = new DOMDocument(); $domd->preserveWhiteSpace = false; @$domd->loadHTML('<?xml encoding="UTF-8">' . $html, $flags); $removeAnnoyingWhitespaceTextNodes = function (DOMNode $node) use (&$removeAnnoyingWhitespaceTextNodes): void { if ($node->hasChildNodes()) { // 递归处理子节点 for ($i = $node->childNodes->length - 1; $i >= 0; --$i) { $removeAnnoyingWhitespaceTextNodes($node->childNodes->item($i)); } } if ($node->nodeType === XML_TEXT_NODE && !$node->hasChildNodes() && !$node->hasAttributes() && ! strlen(trim($node->textContent))) { // 移除空白文本节点 $node->parentNode->removeChild($node); } }; $removeAnnoyingWhitespaceTextNodes($domd); return $domd; } $html = '<div class="singlepost"> <ul class="linha_status" > <li>Status: <b>Objeto em trânsito - por favor aguarde</b></li> <li>Data : 24/10/2021 | Hora: 12:04</li> <li>Origem: Unidade de Tratamento - Jaboatao Dos Guararapes / PE</li> <li>Destino: Agência dos Correios - Cuitegi / PB</li> </ul> <ul class="linha_status" > <li>Status: <b>Objeto em trânsito - por favor aguarde</b></li> <li>Data : 19/10/2021 | Hora: 00:03</li> <li>Origem: Unidade de Logística Integrada - Curitiba / PR</li> <li>Destino: Unidade de Tratamento - Recife / PE</li> </ul> <ul class="linha_status" > <li>Status: <b>Fiscalização aduaneira finalizada</b></li> <li>Data : 18/10/2021 | Hora: 23:35</li> <li>Local: Unidade Operacional - Curitiba / PR</li> </ul> <ul class="linha_status" > <li>Status: <b>Objeto recebido pelos Correios do Brasil</b></li> <li>Data : 16/10/2021 | Hora: 11:45</li> <li>Local: Unidade de Logística Integrada - Curitiba / PR</li> </ul> <ul class="linha_status" > <li>Status: <b>Objeto postado</b></li> <li>Data : 14/10/2021 | Hora: 20:30</li> <li>Local: País - / </li> </ul> </div>'; $domd=loadHTML_noemptywhitespace($html); $xp=new DOMXPath($domd);
2. 使用XPath查询UL元素
使用XPath表达式//div[contains(@class,’singlepost’)]/ul选择所有包含singlepost类的div元素下的ul元素。
$extracted=[]; foreach($xp->query("//div[contains(@class,'singlepost')]/ul") as $ul){ $ulData=[]; // ... }
3. 提取LI元素中的数据
在每个ul元素中，使用XPath表达式./li选择所有的li元素。然后，使用explode函数将每个li元素的文本内容按冒号分隔，提取键值对，并将其存储到$ulData数组中。
foreach($xp->query("./li", $ul) as $li){ $data = explode(":",$li->nodeValue, 2); $uldata[trim($data[0])] = trim($data[1]); } $extracted[]=$uldata;
4. 将结果转换为JSON格式
最后，使用json_encode_pretty函数将提取的数据转换为JSON格式，并输出。json_encode_pretty函数可以格式化JSON输出，使其更易于阅读。
function json_encode_pretty($data, int $extra_flags = 0, int $exclude_flags = 0): string { // prettiest flags for: 7.3.9 $flags = JSON_PRETTY_PRINT | JSON_UNESCAPED_SLASHES | JSON_UNESCAPED_UNICODE | (defined("JSON_UNESCAPED_LINE_TERMINATORS") ? JSON_UNESCAPED_LINE_TERMINATORS : 0) | JSON_PRESERVE_ZERO_FRACTION | (defined("JSON_THROW_ON_ERROR") ? JSON_THROW_ON_ERROR : 0); $flags = ($flags | $extra_flags) & ~ $exclude_flags; return (json_encode($data, $flags)); } echo json_encode_pretty($extracted);
完整代码示例
<?php function json_encode_pretty($data, int $extra_flags = 0, int $exclude_flags = 0): string { // prettiest flags for: 7.3.9 $flags = JSON_PRETTY_PRINT | JSON_UNESCAPED_SLASHES | JSON_UNESCAPED_UNICODE | (defined("JSON_UNESCAPED_LINE_TERMINATORS") ? JSON_UNESCAPED_LINE_TERMINATORS : 0) | JSON_PRESERVE_ZERO_FRACTION | (defined("JSON_THROW_ON_ERROR") ? JSON_THROW_ON_ERROR : 0); $flags = ($flags | $extra_flags) & ~ $exclude_flags; return (json_encode($data, $flags)); } function loadHTML_noemptywhitespace(string $html, int $extra_flags = 0, int $exclude_flags = 0): DOMDocument { $flags = LIBXML_HTML_NODEFDTD | LIBXML_NOBLANKS | LIBXML_NONET; $flags = ($flags & ~ $exclude_flags) | $extra_flags; $domd = new DOMDocument(); $domd->preserveWhiteSpace = false; @$domd->loadHTML('<?xml encoding="UTF-8">' . $html, $flags); $removeAnnoyingWhitespaceTextNodes = function (DOMNode $node) use (&$removeAnnoyingWhitespaceTextNodes): void { if ($node->hasChildNodes()) { // Warning: it's important to do it backwards; if you do it forwards, the index for DOMNodeList might become invalidated; // that's why i don't use foreach() - don't change it (unless you know what you're doing, ofc) for ($i = $node->childNodes->length - 1; $i >= 0; --$i) { $removeAnnoyingWhitespaceTextNodes($node->childNodes->item($i)); } } if ($node->nodeType === XML_TEXT_NODE && !$node->hasChildNodes() && !$node->hasAttributes() && ! strlen(trim($node->textContent))) { //echo "Removing annoying POS"; // var_dump($node); $node->parentNode->removeChild($node); } //elseif ($node instanceof DOMText) { echo "not removed"; var_dump($node, $node->hasChildNodes(), $node->hasAttributes(), trim($node->textContent)); } }; $removeAnnoyingWhitespaceTextNodes($domd); return $domd; } $html = '<div class="singlepost"> <ul class="linha_status" > <li>Status: <b>Objeto em trânsito - por favor aguarde</b></li> <li>Data : 24/10/2021 | Hora: 12:04</li> <li>Origem: Unidade de Tratamento - Jaboatao Dos Guararapes / PE</li> <li>Destino: Agência dos Correios - Cuitegi / PB</li> </ul> <ul class="linha_status" > <li>Status: <b>Objeto em trânsito - por favor aguarde</b></li> <li>Data : 19/10/2021 | Hora: 00:03</li> <li>Origem: Unidade de Logística Integrada - Curitiba / PR</li> <li>Destino: Unidade de Tratamento - Recife / PE</li> </ul> <ul class="linha_status" > <li>Status: <b>Fiscalização aduaneira finalizada</b></li> <li>Data : 18/10/2021 | Hora: 23:35</li> <li>Local: Unidade Operacional - Curitiba / PR</li> </ul> <ul class="linha_status" > <li>Status: <b>Objeto recebido pelos Correios do Brasil</b></li> <li>Data : 16/10/2021 | Hora: 11:45</li> <li>Local: Unidade de Logística Integrada - Curitiba / PR</li> </ul> <ul class="linha_status" > <li>Status: <b>Objeto postado</b></li> <li>Data : 14/10/2021 | Hora: 20:30</li> <li>Local: País - / </li> </ul> </div>'; $domd=loadHTML_noemptywhitespace($html); $xp=new DOMXPath($domd); $extracted=[]; foreach($xp->query("//div[contains(@class,'singlepost')]/ul") as $ul){ $ulData=[]; foreach($xp->query("./li", $ul) as $li){ $data = explode(":",$li->nodeValue, 2); $uldata[trim($data[0])] = trim($data[1]); } $extracted[]=$uldata; } echo json_encode_pretty($extracted); ?>
注意事项
- XPath表达式的准确性至关重要。请根据实际HTML结构调整XPath表达式。
- loadHTML_noemptywhitespace函数可以有效地去除HTML中的空白字符，提高数据提取的准确性。
- 使用json_encode_pretty函数可以格式化JSON输出，使其更易于阅读。
- 如果HTML结构复杂，可以考虑使用更高级的HTML解析库，例如symfony/dom-crawler。
总结
本教程演示了如何使用PHP的DOMDocument和DOMXPath类，结合XPath表达式，将HTML无序列表转换为结构化的多维数组，并最终输出为JSON格式。通过使用XPath准确提取所需数据，并处理HTML中的空白字符，可以有效地从HTML文档中提取数据，并将其转换为易于处理的格式。
评论（已关闭）
评论已关闭