流式处理大型文件
逐块处理文件
流式处理大型文件 是 CoddyKit 上的免费 Dart Academy 课时。 这是第 3 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 Dart Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 Dart Academy 课程共包含 4 节课。
为什么不一次性读完
readAsString 会将整个文件加载到内存中。对于巨大的日志或视频,这可能导致程序崩溃,因此应改用流式处理。
打开读取流
对文件调用 openRead,以获取由字节 chunk 组成的 stream。您处理每个 chunk,然后释放旧的 chunk。
final stream = File('big.log').openRead();遍历 chunk
使用 await for,在每个 chunk 到达时接收它。无论文件增长到多大,内存占用都能保持稳定。
await for (final chunk in stream) { use(chunk); }字节需要解码
每个 chunk 都是原始字节。要读取文本,请让 stream 通过 utf8.decoder,这样得到的就是 String 片段。
stream.transform(utf8.decoder);拆分为多行
在解码器后接上 LineSplitter,stream 就会一次发出一行整洁的内容,随时可以处理。
stream.transform(utf8.decoder).transform(LineSplitter());低成本统计行数
现在,统计一个百万行文件的行数既简单又轻量。请在循环中递增计数器,而不要一直持有整个文件。
var n = 0; await for (final l in lines) n++;打开写入流
需要写入大量输出吗?openWrite 会返回一个 IOSink,您可以逐步向其中写入内容,并在处理过程中将数据刷新到磁盘。
final sink = File('out.txt').openWrite();向 sink 写入
在循环中使用 sink.write 或 sink.writeln 发送文本。每次调用都会以流式方式写入更多数据,而不必重新构建一个巨大的字符串。
for (final row in rows) sink.writeln(row);始终关闭 sink
完成后,请调用 close 并等待它完成。这样可以刷新最后的字节,并妥善释放文件句柄。
await sink.close();将流传入 sink
要高效复制文件,请将读取流通过 pipe 直接传入写入 sink。Dart 会为您处理反压。
await source.openRead().pipe(target.openWrite());处理流错误
stream 可能会在传输过程中途失败。请将循环放在 try/catch 中,这样读取错误就不会悄悄破坏结果。
try { await for (final c in stream) {} } catch (e) {}快速检查
您必须在一台小型机器上处理一个 5 GB 的日志文件。正确的方法是什么?
回顾
现在,您可以使用 openRead 进行流式读取,解码并拆分为多行,通过 IOSink 逐步写入,并使用 pipe 快速复制文件。
常见问题解答
「流式处理大型文件」课时是免费的吗?
是的 — 「流式处理大型文件」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 Dart Academy 课程的其余内容,请升级到 CoddyKit PRO。 Dart Academy 课程共包含 4 节课。
「流式处理大型文件」这节课中我会学到什么?
逐块处理文件 你通过在浏览器中直接运行的动手代码来练习 Dart Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 Dart Academy 需要有经验吗?
无需任何先前经验。CoddyKit 上的 Dart Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 3 节课,共 4 节。
「流式处理大型文件」课时需要多长时间?
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。
我能在这节 Dart Academy 课中编写并运行代码吗?
能。每节 Dart Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。