本文将介绍如何从维基百科的术语表页面提取所有子页面的浏览量。由于术语表页面的内容是非结构化的，因此无法像处理分类页面那样直接提取浏览量。本文将指导你如何通过解析页面内容提取页面标题，并使用维基百科 Pageviews API 获取每个页面的浏览量，同时提供Python示例代码演示该过程。
提取页面标题
由于维基百科术语表页面的结构是非结构化的，我们需要首先解析页面内容，提取所有链接指向的页面标题。 这通常涉及使用 HTML 解析库，例如 Python 中的 Beautiful Soup。
import requests from bs4 import BeautifulSoup def extract_page_titles(url): """ 从维基百科页面提取所有链接的页面标题。 Args: url (str): 维基百科页面的 URL。 Returns: list: 页面标题列表。 """ try: response = requests.get(url) response.raise_for_status() # 检查请求是否成功 soup = BeautifulSoup(response.content, 'html.parser') # 根据实际页面结构调整选择器 links = soup.find_all('a', href=True) page_titles = [] for link in links: href = link['href'] if href.startswith('/wiki/') and not any(x in href for x in [':', '#']): title = href.replace('/wiki/', '') page_titles.append(title) return page_titles except requests.exceptions.RequestException as e: print(f"请求错误: {e}") return [] except Exception as e: print(f"解析错误: {e}") return [] # 示例用法 url = 'https://en.wikipedia.org/wiki/Glossary_of_areas_of_mathematics' page_titles = extract_page_titles(url) print(page_titles)
代码解释:
- 导入库: 导入 requests 用于发送 HTTP 请求，BeautifulSoup 用于解析 HTML。
- extract_page_titles(url) 函数:
- 接受维基百科页面 URL 作为输入。
- 使用 requests.get() 获取页面内容。
- 使用 BeautifulSoup 解析 HTML 内容。
- 使用 soup.find_all(‘a’, href=True) 查找所有 标签，并检查它们是否有 href 属性。
- 遍历所有找到的链接，提取 href 属性。
- 过滤掉不符合要求的链接，例如指向站内其他位置的链接（包含:或#），以及非/wiki/开头的链接。
- 从 href 属性中提取页面标题（删除 /wiki/ 前缀）。
- 返回页面标题列表。
- 示例用法:
- 指定维基百科术语表页面的 URL。
- 调用 extract_page_titles() 函数获取页面标题列表。
- 打印页面标题列表。
注意事项:
- 你需要根据实际的维基百科页面结构调整 soup.find_all() 中的选择器。 维基百科的页面结构可能会改变，所以需要根据实际情况进行调整。
- 该代码仅提取以/wiki/开头的链接，并排除了包含:和#的链接。你可能需要根据你的具体需求修改过滤条件。
- 错误处理：添加了 try…except 块来处理可能出现的请求错误和解析错误。
获取页面浏览量
提取页面标题后，可以使用维基百科 Pageviews API 获取每个页面的浏览量。
import requests import json def get_pageviews(titles, start='20000101', end='20231001'): """ 从维基百科 Pageviews API 获取页面的浏览量。 Args: titles (list): 页面标题列表。 start (str): 开始日期 (YYYYMMDD)。 end (str): 结束日期 (YYYYMMDD)。 Returns: dict: 页面标题和浏览量组成的字典。 """ endpoint = "https://pageviews.toolforge.org/api/views/" pageviews = {} # API 有标题数量限制，所以分批处理 batch_size = 50 for i in range(0, len(titles), batch_size): batch = titles[i:i + batch_size] titles_str = "|".join(batch) url = f"{endpoint}?page={titles_str}&start={start}&end={end}" try: response = requests.get(url) response.raise_for_status() data = response.json() for page in batch: pageviews[page] = data.get(page, {'views': 0})['views'] # 默认浏览量为 0 except requests.exceptions.RequestException as e: print(f"请求错误: {e}") except json.JSONDecodeError as e: print(f"JSON 解析错误: {e}") return pageviews # 示例用法 # 假设 page_titles 是从上一步提取的页面标题列表 if page_titles: # 检查列表是否为空 pageviews = get_pageviews(page_titles) for title, views in pageviews.items(): print(f"{title}: {views}") else: print("没有提取到页面标题，无法获取浏览量。")
代码解释:
- 导入库: 导入 requests 用于发送 HTTP 请求，json 用于解析 JSON 响应。
- get_pageviews(titles, start, end) 函数:
- 接受页面标题列表、开始日期和结束日期作为输入。
- 构建 Pageviews API 的 URL。
- 发送 HTTP GET 请求到 API。
- 解析 API 响应的 JSON 数据。
- 提取每个页面的浏览量，并将结果存储在字典中。
- 返回页面标题和浏览量组成的字典。
- 批量处理: 由于 Pageviews API 对一次请求中可以传递的标题数量有限制，代码将标题列表分成小批次进行处理。 batch_size 变量控制每个批次的大小。
- 错误处理: 添加了 try…except 块来处理可能出现的请求错误和 JSON 解析错误。
- 示例用法:
- 调用 get_pageviews() 函数获取页面浏览量。
- 遍历结果字典，打印每个页面标题和对应的浏览量。
注意事项:
- Pageviews API 有请求频率限制。 如果你需要获取大量页面的浏览量，请注意控制请求频率，避免被 API 限制。 可以考虑使用 time.sleep() 函数在每次请求之间添加延迟。
- start 和 end 参数指定要获取浏览量的时间范围。 请根据你的需求修改这些参数。
- API 响应的 JSON 结构可能会改变。 如果代码无法正常工作，请检查 API 文档并更新代码。
- 增加空列表的判断，避免因page_titles为空导致程序报错。
总结
通过以上步骤，你可以从维基百科的术语表页面提取所有子页面的浏览量。 首先，你需要解析页面内容，提取所有链接指向的页面标题。 然后，使用维基百科 Pageviews API 获取每个页面的浏览量。 请注意处理 API 的请求频率限制，并根据实际的页面结构和 API 响应更新代码。 此外，请注意遵守维基媒体的使用条款。
评论（已关闭）
评论已关闭