大きなファイルのストリーミング

readAsString はファイル全体をメモリに読み込みます。巨大なログや動画ではプログラムがクラッシュする可能性があるため、代わりにストリーム処理を行います。

Fileに対してopenReadを呼び出すと、バイトのチャンクを受け取るストリームを取得できます。各チャンクを処理したら、古いチャンクは破棄します。

await forを使うと、到着したチャンクを順番に受け取れます。ファイルがどれだけ大きくなっても、メモリ使用量は一定に保たれます。

各チャンクは生のバイトです。テキストとして読み取るには、ストリームをutf8.decoderに通し、代わりにStringの一部を受け取ります。

デコーダーの後ろにLineSplitterをつなぐと、ストリームから1行ずつ整った形で出力され、すぐに処理できます。

これで、100万行のファイルでも軽快に行数を数えられます。ファイル全体を保持せず、ループ内でカウンターを1ずつ増やします。

大きな出力を書き込む場合は、openWriteが返すIOSinkに少しずつデータを渡し、処理しながらディスクへ書き出します。

ループ内でsink.writeまたはsink.writelnを使ってテキストを送ります。呼び出すたびにデータが追加でストリームに流れ、大きなStringを作り直す必要がありません。

処理が終わったらcloseを呼び出してawaitします。これにより最後のバイトが書き出され、ファイルハンドルが適切に解放されます。

ファイルを効率よくコピーするには、読み取りストリームをpipeで書き込み用のSinkに直接接続します。Dartがバックプレッシャーを処理してくれます。

ストリームは途中で失敗することがあります。ループをtry/catchで囲み、読み取りエラーによって結果が気付かないうちに壊れないようにします。

これで、openReadによるストリーム読み取り、デコードと行分割、IOSinkへの段階的な書き込み、そして高速なコピーのためのpipeを使えるようになりました。