答案：使用golang结合net/http和goquery库可轻松实现网页标题与链接抓取。首先通过http.Get发起请求，再用goquery解析html，利用类似jquery的选择器查找a[href^=’/pkg’]元素，提取文本与href属性并拼接完整链接，最后打印输出。示例以https://pkg.go.dev为目标站点，每条结果按序号展示标题和链接。需注意选择器准确性、添加错误处理、遵守robots.txt及控制请求频率。可扩展为保存至文件或支持命令行参数。
用golang写一个简单的爬虫并不复杂，关键在于理解HTTP请求、HTML解析和数据提取的基本流程。下面通过一个实战示例，带你实现一个抓取网页标题和链接的简易爬虫。
项目目标
从指定网页（例如一个博客列表页）抓取所有文章的标题和对应链接，并打印输出。
所需依赖
Go标准库已经能完成大部分工作，但HTML解析我们使用一个轻量第三方库 goquery，它类似jQuery的操作方式，非常方便。
安装 goquery：
立即学习“go语言免费学习笔记（深入）”；
go mod init simple-spider<br>go get github.com/PuerkitoBio/goquery
代码实现
以下是一个完整可运行的示例，抓取某个技术博客的文章列表（以示例网站 https://pkg.go.dev 为例，实际可替换为目标站点）：
package main import ( "fmt" "log" "net/http" "github.com/PuerkitoBio/goquery" ) func crawl(url string) { // 发起 GET 请求 resp, err := http.Get(url) if err != nil { log.Fatal("请求失败:", err) } defer resp.Body.Close() // 确保状态码是 200 if resp.StatusCode != 200 { log.Fatalf("状态码错误: %d", resp.StatusCode) } // 使用 goquery 解析 HTML doc, err := goquery.NewDocumentFromReader(resp.Body) if err != nil { log.Fatal("解析 HTML 失败:", err) } // 查找文章标题和链接（根据实际网页结构调整选择器） doc.Find("a[href^='/pkg']").Each(func(i int, s *goquery.Selection) { title := s.Text() // 获取链接文本 href, _ := s.Attr("href") // 获取 href 属性 link := "https://pkg.go.dev" + href // 拼接完整 URL fmt.Printf("文章 %d:n", i+1) fmt.Printf(" 标题: %sn", title) fmt.Printf(" 链接: %sn", link) }) } func main() { url := "https://pkg.go.dev" crawl(url) }
运行结果
程序会输出类似：
文章 1: 标题: bufio 链接: https://pkg.go.dev/bufio 文章 2: 标题: bytes 链接: https://pkg.go.dev/bytes ...
注意事项与优化建议
- 选择器要准确：使用浏览器开发者工具检查目标网页结构，调整
Find()
中的选择器。
- 避免频繁请求：爬取多个页面时加入延时，遵守网站的
robots.txt
规则。
- 错误处理更完善：可增加超时控制、重试机制。
- 并发爬取：使用 goroutine 可以并发抓取多个页面，提升效率（注意控制并发数）。
扩展思路
这个爬虫可以进一步扩展：
- 将结果保存为 JSON 或 CSV 文件
- 加入命令行参数传入目标 URL
- 使用
colly
框架实现更复杂的爬虫逻辑
基本上就这些。一个简单但实用的Go爬虫已经成型，适合入门学习和小规模数据抓取。
评论（已关闭）
评论已关闭