0Pricing
Dart Academy · 课时

流式处理大型文件

逐块处理文件

流式处理大型文件 是 CoddyKit 上的免费 Dart Academy 课时。 这是第 3 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 Dart Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 Dart Academy 课程共包含 4 节课。

为什么不一次性读完

readAsString 会将整个文件加载到内存中。对于巨大的日志或视频,这可能导致程序崩溃,因此应改用流式处理。

打开读取流

对文件调用 openRead,以获取由字节 chunk 组成的 stream。您处理每个 chunk,然后释放旧的 chunk。

final stream = File('big.log').openRead();

遍历 chunk

使用 await for,在每个 chunk 到达时接收它。无论文件增长到多大,内存占用都能保持稳定。

await for (final chunk in stream) { use(chunk); }

字节需要解码

每个 chunk 都是原始字节。要读取文本,请让 stream 通过 utf8.decoder,这样得到的就是 String 片段。

stream.transform(utf8.decoder);

拆分为多行

在解码器后接上 LineSplitter,stream 就会一次发出一行整洁的内容,随时可以处理。

stream.transform(utf8.decoder).transform(LineSplitter());

低成本统计行数

现在,统计一个百万行文件的行数既简单又轻量。请在循环中递增计数器,而不要一直持有整个文件。

var n = 0; await for (final l in lines) n++;

打开写入流

需要写入大量输出吗?openWrite 会返回一个 IOSink,您可以逐步向其中写入内容,并在处理过程中将数据刷新到磁盘。

final sink = File('out.txt').openWrite();

向 sink 写入

在循环中使用 sink.write 或 sink.writeln 发送文本。每次调用都会以流式方式写入更多数据,而不必重新构建一个巨大的字符串。

for (final row in rows) sink.writeln(row);

始终关闭 sink

完成后,请调用 close 并等待它完成。这样可以刷新最后的字节,并妥善释放文件句柄。

await sink.close();

将流传入 sink

要高效复制文件,请将读取流通过 pipe 直接传入写入 sink。Dart 会为您处理反压。

await source.openRead().pipe(target.openWrite());

处理流错误

stream 可能会在传输过程中途失败。请将循环放在 try/catch 中,这样读取错误就不会悄悄破坏结果。

try { await for (final c in stream) {} } catch (e) {}

快速检查

您必须在一台小型机器上处理一个 5 GB 的日志文件。正确的方法是什么?

回顾

现在,您可以使用 openRead 进行流式读取,解码并拆分为多行,通过 IOSink 逐步写入,并使用 pipe 快速复制文件。

常见问题解答

「流式处理大型文件」课时是免费的吗?

是的 — 「流式处理大型文件」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 Dart Academy 课程的其余内容,请升级到 CoddyKit PRO。 Dart Academy 课程共包含 4 节课。

「流式处理大型文件」这节课中我会学到什么?

逐块处理文件 你通过在浏览器中直接运行的动手代码来练习 Dart Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 Dart Academy 需要有经验吗?

无需任何先前经验。CoddyKit 上的 Dart Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 3 节课,共 4 节。

「流式处理大型文件」课时需要多长时间?

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。

我能在这节 Dart Academy 课中编写并运行代码吗?

能。每节 Dart Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

  1. 读取与写入文件
  2. 目录、路径与 FileSystemEntity
  3. 流式处理大型文件
  4. 标准输入、标准输出与进程参数
← 返回 Dart Academy