使用bufio.Writer可显著提升大文件写入性能，通过缓冲减少系统调用。1. 创建带缓冲的写入器，数据先写入内存缓冲区；2. 合理设置缓冲区大小（如64KB或1MB）以匹配I/O特性；3. 写入完成后必须调用Flush确保数据落盘；4. 可选调用file.Sync()保证数据持久化。示例代码展示分块写入100MB文件，使用32KB分块和1MB缓冲区，最后defer writer.Flush()确保数据完整。该方法为Go中高效写大文件的标准做法。
处理大文件时，直接使用
os.WriteFile
或
file.Write
会带来严重的性能问题，因为每次写入都可能触发系统调用，频繁的 I/O 操作会显著拖慢程序。Golang 提供了
bufio
包来通过缓冲机制优化写入效率。以下是使用缓冲写入大文件的核心技巧和示例代码。
使用 bufio.Writer 进行缓冲写入
通过
bufio.NewWriter
创建一个带缓冲区的写入器，数据先写入内存缓冲区，当缓冲区满或显式刷新时才真正写入磁盘，大幅减少系统调用次数。
示例代码：
package main import ( "bufio" "log" "os" ) func writeLargeFile(filename string, data []byte, chunkSize int) error { file, err := os.Create(filename) if err != nil { return err } defer file.Close() // 使用默认缓冲区大小（通常4096字节），也可用 NewWriterSize 指定 writer := bufio.NewWriter(file) defer writer.Flush() // 确保所有数据写入磁盘 // 模拟分块写入大数据 for len(data) > 0 { writeLen := chunkSize if writeLen > len(data) { writeLen = len(data) } _, err := writer.Write(data[:writeLen]) if err != nil { return err } data = data[writeLen:] } return nil } func main() { data := make([]byte, 100*1024*1024) // 100MB 数据 for i := range data { data[i] = 'A' } err := writeLargeFile("largefile.txt", data, 32*1024) // 每次写32KB if err != nil { log.Fatal(err) } }
调整缓冲区大小以匹配 I/O 特性
默认缓冲区大小为 4KB，可能不适合所有场景。对于大文件写入，适当增大缓冲区（如 64KB 或 1MB）可进一步提升吞吐量。
立即学习“go语言免费学习笔记（深入）”；
使用
bufio.NewWriterSize
自定义缓冲区：
writer := bufio.NewWriterSize(file, 1<<20) // 1MB 缓冲区
注意：缓冲区过大可能导致内存占用过高，需根据可用内存和写入模式权衡。
及时调用 Flush 防止数据丢失
关键点：缓冲区未满时，数据不会自动写入磁盘。必须在写入完成后调用
writer.Flush()
，否则可能丢失尾部数据。
推荐使用
defer writer.Flush()
确保程序异常退出时也能刷新缓冲区。
结合 sync 避免缓存导致的持久化延迟
即使调用
Flush
，操作系统仍可能将数据保留在页缓存中。如需确保数据真正写入磁盘，可调用
file.Sync()
：
writer.Flush() file.Sync() // 强制同步到磁盘
注意：此操作较慢，仅在需要强持久化保证时使用。
基本上就这些。使用
bufio.Writer
是写大文件的标准做法，配合合理的缓冲区大小和及时刷新，能显著提升 I/O 效率。不复杂但容易忽略细节。
评论（已关闭）
评论已关闭