使用node.JS流可高效处理大文件，避免内存溢出。通过fs.createReadstream和fs.createWriteStream创建读写流，利用pipe方法自动传输数据并处理背压，简化代码且提升稳定性。可在管道中插入transform流实现数据转换，如文本转大写。需注意监听错误和完成事件，确保健壮性。
处理大文件时，直接读取整个文件到内存中会导致内存溢出或性能严重下降。Node.js 提供了流（Stream）机制，可以实现高效、低内存占用的文件处理方式。通过流式读写，你可以一边读取数据一边处理并写入目标文件，适合处理 GB 级别的大文件。
使用 fs.createReadStream 和 fs.createWriteStream
node.js 的 fs 模块支持创建可读流和可写流，是处理大文件的基础工具。
下面是一个将大文件从源路径复制到目标路径的示例：
const fs = require('fs'); const path = require('path'); const readStream = fs.createReadStream(path.join(__dirname, 'large-file.txt')); const writeStream = fs.createWrite7Stream(path.join(__dirname, 'copied-file.txt')); readStream.on('data', (chunk) => { console.log(`读取了 ${chunk.length} 字节的数据`); writeStream.write(chunk); }); readStream.on('end', () => { writeStream.end(); console.log('文件复制完成'); }); readStream.on('error', (err) => { console.error('读取错误:', err); }); writeStream.on('error', (err) => { console.error('写入错误:', err); });
使用 pipe 方法简化流操作
pipe() 是流最常用的优化方式，它能自动处理背压（backpressure），无需手动监听 data 和 end 事件。
用 pipe 改写上面的例子会更简洁且健壮：
const fs = require('fs'); const path = require('path'); const readStream = fs.createReadStream(path.join(__dirname, 'large-file.txt')); const writeStream = fs.createWriteStream(path.join(__dirname, 'copied-file.txt')); // 自动处理数据流动和错误 readStream.pipe(writeStream); writeStream.on('finish', () => { console.log('文件写入完成'); }); readStream.on('error', (err) => { console.error('读取失败:', err); }); writeStream.on('error', (err) => { console.error('写入失败:', err); });
在流中加入中间处理逻辑
你还可以在读写之间插入转换流（Transform Stream），比如压缩、解压、替换内容等。
例如：边读取边将文本转为大写：
const fs = require('fs'); const path = require('path'); const { Transform } = require('stream'); const uppercaseTransform = new Transform({ transform(chunk, encoding, callback) { callback(null, chunk.toString().toUpperCase()); } }); const readStream = fs.createReadStream(path.join(__dirname, 'large-file.txt')); const writeStream = fs.createWriteStream(path.join(__dirname, 'uppercase-file.txt')); readStream.pipe(uppercaseTransform).pipe(writeStream); writeStream.on('finish', () => { console.log('转换并保存完成'); });
基本上就这些。利用 Node.js 流机制，你可以轻松应对大文件读写，避免内存问题，同时保持良好的性能表现。关键是使用 createReadStream 和 createWriteStream，配合 pipe 进行高效传输，必要时插入自定义转换逻辑。不复杂但容易忽略细节，比如错误监听和结束事件处理。