Web Scraping 动态加载数据：从TfL自行车数据抓取CSV文件

本文介绍如何使用Python抓取TfL（伦敦交通局）自行车共享计划的CSV数据文件，这些数据通过JavaScript动态加载。我们将展示如何通过分析浏览器的开发者工具来定位API请求，并使用BeautifulSoup解析XML响应，最终提取所需的CSV文件链接。本文提供详细的代码示例，帮助读者理解和实践动态网页数据的抓取方法。

理解动态加载与传统抓取的局限性

传统的网页抓取方法，如使用requests和BeautifulSoup直接请求网页HTML内容，并解析其中的链接，在面对动态加载数据时会失效。这是因为网页的初始HTML可能不包含所有的数据，数据通常通过JavaScript在浏览器中动态加载。

例如，在TfL自行车数据网站（https://www.php.cn/link/2dd413603aecf86981529a0cb6e4f35e and Conditions链接，无法获取实际的CSV文件链接。

定位API请求：使用开发者工具

要解决这个问题，我们需要找到加载数据的API请求。现代浏览器都提供了强大的开发者工具，可以用来分析网络请求。

1. 打开浏览器的开发者工具（通常按F12键）。
2. 切换到“Network”标签页。
3. 刷新网页。
4. 在“Network”标签页中，筛选“XHR”或“Fetch/XHR”类型的请求，寻找包含CSV文件列表的请求。

在这个例子中，通过分析可以发现，数据是通过请求https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500这个URL获取的，返回的是一个XML文件，包含了所有CSV文件的信息。

使用BeautifulSoup解析XML响应

找到API请求后，我们可以使用requests库获取XML响应，并使用BeautifulSoup解析它，提取CSV文件的URL。

以下是示例代码：

import requests from bs4 import BeautifulSoup  url = 'https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500' response = requests.get(url) response.raise_for_status()  # 检查请求是否成功  soup = BeautifulSoup(response.text, 'xml') # 指定解析器为xml for c in soup.find_all('Key'): # 使用find_all方法     if c.text.startswith('usage-stats') and c.text.endswith('.csv'):         print('https://cycling.data.tfl.gov.uk/'+c.text)

代码解释：

1. 导入库： 导入requests用于发送HTTP请求，BeautifulSoup用于解析XML。
2. 发送请求： 使用requests.get()方法获取XML数据。
3. 检查状态码： 使用response.raise_for_status()确保请求成功，如果状态码不是200，会抛出异常。
4. 创建BeautifulSoup对象： 使用BeautifulSoup(response.text, ‘xml’)创建一个BeautifulSoup对象，并指定解析器为xml。
5. 查找所有标签： 使用soup.find_all(‘Key’)查找所有包含文件名的标签。注意这里需要使用find_all而不是select。
6. 过滤和打印URL： 遍历所有标签，检查文件名是否以usage-stats开头，以.csv结尾，如果是，则拼接完整的URL并打印。

注意事项与总结

• 状态码检查： 在发送请求后，务必检查response.status_code是否为200，以确保请求成功。如果状态码不是200，可能需要处理错误情况。
• 反爬虫机制： 网站可能会采取反爬虫措施，如限制请求频率、使用验证码等。需要根据具体情况采取相应的应对策略，例如设置请求头、使用代理IP等。
• XML解析器： BeautifulSoup 可以使用不同的解析器。 在解析XML时，明确指定解析器为 xml 可以提高解析的准确性。
• 动态加载数据： 对于动态加载数据的网页，需要通过分析API请求来获取数据，而不是直接抓取HTML。

通过以上步骤，我们可以成功抓取TfL自行车数据网站上的CSV文件链接，为后续的数据分析工作打下基础。掌握这种动态网页数据的抓取方法，可以帮助我们从更多复杂的网站获取所需的数据。