Python里urllib.request 网络请求模块urllib的核心功能详解

python中urllib.request的核心用途是发送网络请求并获取响应，其作为标准库适用于轻量级或受限环境。1. 它可通过urlopen()发起get请求，并支持设置超时；2. 使用request对象可自定义请求头、发送post数据；3. 可结合http.cookiejar处理cookie以保持登录状态；4. 支持默认重定向处理，也可通过httpredirecthandler禁用；5. 必须捕获urlerror、httperror及socket.timeout等异常以确保稳定性。

在Python中，urllib.request 是 urllib 模块中最核心的组件之一，用于发送网络请求并获取响应。虽然它不像第三方库如 requests 那样简洁易用，但它是标准库的一部分，不需要额外安装，在一些轻量级或受限环境中非常实用。

如果你只是想快速发起一个GET请求，或者需要对HTTP细节有更精细的控制，urllib.request 就派上用场了。下面我们就来详细看看它的几个关键功能和使用方法。

发起基本的GET请求

最简单的使用方式是通过 urllib.request.urlopen() 方法来发起一个GET请求，获取网页内容：

import urllib.request  response = urllib.request.urlopen('https://example.com') html = response.read()

这个过程相当于浏览器访问了一个网址，并获取到了返回的内容（通常是HTML）。你可以通过 .read() 获取字节流，也可以用 .decode(‘utf-8’) 转成字符串处理。

立即学习“Python免费学习笔记（深入）”；

需要注意：

• 返回的是 http.client.HTTPResponse 对象
• 默认超时时间较长，建议加上超时设置：

  response = urllib.request.urlopen('https://example.com', timeout=10)

自定义请求头与POST请求

有时候我们需要模拟浏览器行为，比如添加User-Agent、Referer等头部信息，或者发送POST数据。这时就需要构造一个 Request 对象：

import urllib.request import urllib.parse  data = urllib.parse.urlencode({'username': 'test', 'password': '123456'}).encode('utf-8') headers = {     'User-Agent': 'Mozilla/5.0',     'Content-Type': 'application/x-www-form-urlencoded' } req = urllib.request.Request('https://example.com/login', data=data, headers=headers, method='POST') response = urllib.request.urlopen(req)

几点说明：

• data 必须是 bytes 类型，所以要用 encode()
• headers 可以是 dict 或者用 .add_header() 添加
• method 参数可选，默认根据是否有 data 决定是否为 POST

处理Cookie和重定向

默认情况下，urllib.request 会自动处理重定向（最多20次），但不会持久化保存 Cookie。如果需要保存 Cookie，可以结合 http.cookiejar 模块：

import urllib.request import http.cookiejar  cj = http.cookiejar.CookieJar() opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj)) urllib.request.install_opener(opener)  response = opener.open('https://example.com')

这样你就可以在后续请求中复用登录状态了。

关于重定向：

• 如果你想禁用自动重定向，可以通过自定义 HTTPRedirectHandler 来实现
• 默认允许最多20次重定向，超过会抛出异常

异常处理不可忽视

网络请求难免遇到各种问题，比如连接失败、超时、服务器错误等，所以必须做好异常捕获：

from urllib.error import URLError, HTTPError import socket  try:     response = urllib.request.urlopen('https://example.com', timeout=5) except HTTPError as e:     print(f'HTTP 错误: {e.code}') except URLError as e:     print(f'URL 错误: {e.reason}') except socket.timeout:     print('请求超时')

常见异常类型：

• URLError：通用错误，比如无法解析域名
• HTTPError：继承自 URLError，包含状态码和原因
• socket.timeout：超时异常需要单独捕获

基本上就这些。urllib.request 功能虽不如 requests 强大，但在标准库中已经足够应对大多数基础场景。只要注意好请求头、数据格式、异常处理这几个关键点，就能写出稳定可用的网络请求代码。