PHP怎样在内存限制下实现大文件的逐行读取 PHP限制内存占用的文件处理技巧

<?php $filePath = '/path/to/your/large_file.txt'; $memoryLimit = ini_get('memory_limit'); // 看看当前内存限制是多少  echo "当前内存限制：{$memoryLimit}n"; echo "开始处理文件：{$filePath}n";  $handle = fopen($filePath, 'r'); // 'r' 表示只读模式  if ($handle) {     $lineCount = 0;     while (!feof($handle)) { // 循环直到文件结束         $line = fgets($handle); // 读取一行         if ($line === false) { // 读取失败，可能是文件末尾或错误             break;         }         $lineCount++;         // 在这里处理每一行数据         // 比如：echo "处理第 {$lineCount} 行: " . trim($line) . "n";         // 注意：实际应用中不要直接echo，这本身也可能产生大量输出          // 模拟一些处理，确保内存不会累积         // 如果处理逻辑复杂，确保内部变量及时释放或不无限增长         if ($lineCount % 10000 == 0) {             echo "已处理 {$lineCount} 行，当前内存使用: " . round(memory_get_usage(true) / (1024 * 1024), 2) . " MBn";             // 可以在这里考虑 gc_collect_cycles()，但通常不是必需的         }     }     fclose($handle); // 关闭文件句柄，释放资源     echo "文件处理完成，总计处理 {$lineCount} 行。n"; } else {     echo "错误：无法打开文件 {$filePath}n"; } echo "最终内存使用: " . round(memory_get_usage(true) / (1024 * 1024), 2) . " MBn"; ?>

<?php $filePath = '/path/to/your/large_file.txt';  echo "当前内存限制：{$memoryLimit}n"; // 再次显示内存限制 echo "开始使用 SplFileObject 处理文件：{$filePath}n";  try {     $file = new SplFileObject($filePath, 'r');     $lineCount = 0;      // 设置跳过空行和忽略注释行（如果需要的话）     // $file->setFlags(SplFileObject::SKIP_EMPTY | SplFileObject::READ_AHEAD | SplFileObject::DROP_NEW_LINE);      foreach ($file as $line) {         $lineCount++;         // 在这里处理每一行数据         // $processedLine = trim($line);         // echo "处理第 {$lineCount} 行: " . $processedLine . "n";          if ($lineCount % 10000 == 0) {             echo "已处理 {$lineCount} 行，当前内存使用: " . round(memory_get_usage(true) / (1024 * 1024), 2) . " MBn";         }     }     echo "文件处理完成，总计处理 {$lineCount} 行。n";  } catch (RuntimeException $e) {     echo "文件处理出错：" . $e->getMessage() . "n"; } echo "最终内存使用: " . round(memory_get_usage(true) / (1024 * 1024), 2) . " MBn"; ?>

file_get_contents()

file()

file_get_contents($filePath)

file($filePath)

<?php function getFileLines(string $filePath): Generator {     $handle = fopen($filePath, 'r');     if (!$handle) {         throw new RuntimeException("无法打开文件: {$filePath}");     }     while (!feof($handle)) {         $line = fgets($handle);         if ($line === false) {             break;         }         yield $line; // 每次 yield 一行，而不是一次性返回所有行     }     fclose($handle); }  $filePath = '/path/to/your/large_file.txt'; echo "使用生成器处理文件：{$filePath}n";  $lineCount = 0; foreach (getFileLines($filePath) as $line) {     $lineCount++;     // 处理每一行     // echo "处理第 {$lineCount} 行: " . trim($line) . "n";     if ($lineCount % 10000 == 0) {         echo "已处理 {$lineCount} 行，当前内存使用: " . round(memory_get_usage(true) / (1024 * 1024), 2) . " MBn";     } } echo "文件处理完成，总计处理 {$lineCount} 行。n"; ?>

// 伪代码示例 $batch = []; $batchSize = 1000; foreach ($file as $line) {     $processedData = processSingleLine($line); // 假设这是你的单行处理函数     $batch[] = $processedData;      if (count($batch) >= $batchSize) {         insertBatchToDatabase($batch); // 批量写入数据库         $batch = []; // 清空批次数组，释放内存     } } // 处理最后不满一个批次的数据 if (!empty($batch)) {     insertBatchToDatabase($batch); }

unset()

; php.ini 或 .htaccess memory_limit = 512M max_execution_time = 3600 ; 比如设置一个小时

false

RuntimeException

// 使用 fopen $handle = @fopen($filePath, 'r'); // 使用 @ 抑制警告，然后手动检查 if (!$handle) {     error_log("严重错误：无法打开文件 {$filePath}，请检查路径和权限。");     // 退出或抛出自定义异常     die("文件处理失败，请联系管理员。"); }  // 使用 SplFileObject try {     $file = new SplFileObject($filePath, 'r'); } catch (RuntimeException $e) {     error_log("严重错误：文件操作异常 - " . $e->getMessage());     die("文件处理失败，原因：" . $e->getMessage()); }

foreach ($file as $lineNum => $line) { // SplFileObject 默认迭代器键就是行号     try {         $data = parseLine($line); // 假设这是你的解析函数，可能抛出异常         processData($data); // 假设这是你的数据处理函数     } catch (ParseException $e) { // 自定义的解析异常         error_log("警告：文件 {$filePath} 第 {$lineNum} 行解析失败: " . trim($line) . " - 错误: " . $e->getMessage());         continue; // 跳过当前行，继续处理下一行     } catch (Exception $e) { // 其他未知错误         error_log("错误：文件 {$filePath} 第 {$lineNum} 行处理异常: " . trim($line) . " - 错误: " . $e->getMessage());         // 考虑是否要中断整个处理过程，还是继续         // break; // 如果是严重错误，可能需要中断         continue;     } }

fclose($handle)

unset($file)