Python网络爬虫：处理JavaScript动态加载内容的策略

pip install selenium

from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Options from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from bs4 import BeautifulSoup import time # 用于简单的等待，但推荐使用WebDriverWait  def get_dynamic_page_content(url):     """     使用Selenium获取动态加载页面内容。     """     # 配置Chrome选项，启用无头模式 (headless mode)     chrome_options = Options()     chrome_options.add_argument("--headless")  # 启用无头模式，不显示浏览器界面     chrome_options.add_argument("--disable-gpu") # 禁用GPU硬件加速，推荐在无头模式下使用     chrome_options.add_argument("--no-sandbox") # 解决在某些Linux环境下运行的权限问题     chrome_options.add_argument("--disable-dev-shm-usage") # 解决Docker等容器环境下的共享内存问题      # 如果chromedriver不在系统PATH中，需要指定其路径     # service = Service('/path/to/your/chromedriver')     # driver = webdriver.Chrome(service=service, options=chrome_options)      # 初始化WebDriver     # 确保chromedriver已安装并可在系统PATH中找到，或在Service中指定路径     driver = webdriver.Chrome(options=chrome_options)      try:         print(f"正在访问URL: {url}")         driver.get(url)          # 显式等待：等待页面中的特定元素加载完成         # 这里我们等待第一个table元素出现，因为目标表格是第7个，         # 只要有table出现，说明JS可能已经开始渲染数据了。         # 实际项目中，建议等待目标表格或其内部的某个关键元素。         WebDriverWait(driver, 30).until(             EC.presence_of_element_located((By.TAG_NAME, "table"))         )         print("页面内容已加载，尝试获取渲染后的HTML...")          # 获取浏览器渲染后的完整HTML内容         html_content = driver.page_source          # 使用BeautifulSoup解析渲染后的HTML         soup = BeautifulSoup(html_content, "lxml")          # 查找所有表格         tables = soup.find_all("table")          if len(tables) > 6: # 检查是否存在第7个表格（索引为6）             target_table = tables[6]             print("n成功获取到第7个表格的内容（部分展示）：")             # 打印表格的精简内容，避免输出过长             print(target_table.prettify()[:1000] + "...") # 打印前1000字符              # 您现在可以进一步解析这个表格，例如提取行和列数据             # for row in target_table.find_all("tr"):             #     cells = [cell.get_text(strip=True) for cell in row.find_all(["td", "th"])]             #     print(cells)         else:             print(f"页面加载后，只找到了 {len(tables)} 个表格，未找到第7个表格。")      except Exception as e:         print(f"发生错误: {e}")     finally:         # 确保关闭浏览器驱动，释放资源         driver.quit()         print("浏览器驱动已关闭。")  if __name__ == "__main__":     target_url = "https://www.blackrock.com/br/products/251816/ishares-ibovespa-fundo-de-ndice-fund"     get_dynamic_page_content(target_url)

pip install playwright playwright install  # 安装浏览器驱动

import asyncio from playwright.async_api import async_playwright from bs4 import BeautifulSoup  async def get_dynamic_page_content_playwright(url):     async with async_playwright() as p:         browser = await p.chromium.launch(headless=True) # 启动无头Chromium浏览器         page = await browser.new_page()         print(f"正在访问URL: {url} (使用Playwright)")         await page.goto(url, wait_until="networkidle") # 等待网络空闲，确保内容加载          # 也可以使用显式等待，例如等待某个元素出现         # await page.wait_for_selector("table", timeout=30000)          html_content = await page.content() # 获取渲染后的HTML          soup = BeautifulSoup(html_content, "lxml")         tables = soup.find_all("table")          if len(tables) > 6:             target_table = tables[6]             print("n成功获取到第7个表格的内容 (Playwright):")             print(target_table.prettify()[:1000] + "...")         else:             print(f"页面加载后，只找到了 {len(tables)} 个表格，未找到第7个表格。")          await browser.close()         print("浏览器已关闭 (Playwright)。")  if __name__ == "__main__":     target_url = "https://www.blackrock.com/br/products/251816/ishares-ibovespa-fundo-de-ndice-fund"     asyncio.run(get_dynamic_page_content_playwright(target_url))