Go Academy · Lezione

Streaming di file grandi

Elaborare file senza caricarli interamente

Streaming di file grandi è una lezione Go Academy gratuita su CoddyKit. Questa è la lezione 4 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Go Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Go Academy include 4 lezioni in totale.

Il problema di caricare tutto

Leggere in memoria un file di diversi gigabyte con os.ReadFile può esaurire la RAM. In alternativa, lo elabori in streaming: elabori i blocchi man mano che arrivano.

Il concetto di streaming

Lo streaming consiste nel mantenere in memoria solo una piccola finestra di dati alla volta. In combinazione con il buffering, consente di elaborare input di dimensioni arbitrarie usando una quantità costante di memoria.

Riga per riga con Scanner

Per il testo, un bufio.Scanner su un reader elabora una riga alla volta indipendentemente dalle dimensioni del file. In questo caso simuliamo un file con uno strings.Reader.

package main

import (
	"bufio"
	"fmt"
	"strings"
)

func main() {
	src := strings.NewReader("alpha\nbeta\ngamma")
	s := bufio.NewScanner(src)
	for s.Scan() {
		fmt.Println("processed:", s.Text())
	}
}

Contare senza caricare tutto

Può calcolare statistiche su un flusso enorme mantenendo in memoria quasi nulla.

package main

import (
	"bufio"
	"fmt"
	"strings"
)

func main() {
	s := bufio.NewScanner(strings.NewReader("a\nbb\nccc"))
	total := 0
	for s.Scan() {
		total += len(s.Text())
	}
	fmt.Println("total chars:", total)
}

Blocchi di dimensione fissa

Per i dati binari, legga in un buffer di dimensione fissa con Read. n indica quanti byte sono stati riempiti.

package main

import (
	"fmt"
	"io"
	"strings"
)

func main() {
	src := strings.NewReader("0123456789")
	buf := make([]byte, 4)
	for {
		n, err := src.Read(buf)
		if n > 0 {
			fmt.Printf("chunk: %s\n", buf[:n])
		}
		if err == io.EOF {
			break
		}
	}
}

io.Copy per lo streaming

io.Copy(dst, src) trasmette tutto da un reader a un writer usando un piccolo buffer interno, senza caricare tutto in memoria.

package main

import (
	"io"
	"os"
	"strings"
)

func main() {
	src := strings.NewReader("streamed straight through\n")
	io.Copy(os.Stdout, src)
}

Combinare i buffer di Reader e Writer

Avvolga entrambe le estremità in bufio per trasformazioni efficienti in streaming: lettura con buffer, elaborazione, scrittura con buffer e flush.

package main

import (
	"bufio"
	"os"
	"strings"
)

func main() {
	r := bufio.NewScanner(strings.NewReader("one\ntwo"))
	w := bufio.NewWriter(os.Stdout)
	defer w.Flush()
	for r.Scan() {
		w.WriteString(r.Text() + "!\n")
	}
}

Garanzia di memoria costante

Poiché la dimensione del buffer è fissa, l'uso della memoria rimane costante sia che l'input sia di 1KB sia di 1TB. Questo è il vantaggio principale dello streaming.

Evitare gli errori comuni

Non chiami os.ReadFile sui file di grandi dimensioni
Gestisca sempre gli n byte prima di controllare l'errore
Ricordi di eseguire Flush() sui writer con buffer

Trasformare un flusso

In questo caso convertiamo in maiuscolo ogni riga mentre attraversa il flusso, mantenendo in memoria una sola riga alla volta.

package main

import (
	"bufio"
	"os"
	"strings"
)

func main() {
	s := bufio.NewScanner(strings.NewReader("hi\nthere"))
	w := bufio.NewWriter(os.Stdout)
	defer w.Flush()
	for s.Scan() {
		w.WriteString(strings.ToUpper(s.Text()) + "\n")
	}
}

Quando usare lo streaming

Usi lo streaming quando la dimensione dell'input è grande o sconosciuta oppure quando può elaborarlo in modo incrementale. Carichi tutto in memoria solo per dati piccoli e di dimensioni limitate che deve avere a disposizione contemporaneamente.

Verifica rapida

Verifichi la sua conoscenza dello streaming.

Riepilogo

Ha imparato a elaborare grandi quantità di dati senza caricarle interamente.

Scanner per il testo riga per riga
Read di dimensione fissa per i blocchi binari
io.Copy per trasferire dati da un flusso a un altro
Buffer su entrambe le estremità, flush dei writer e memoria costante

Domande Frequenti

La lezione «Streaming di file grandi» è gratuita?

Sì — il testo completo di «Streaming di file grandi» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Go Academy, passa a CoddyKit PRO. Il corso Go Academy include 4 lezioni in totale.

Cosa imparerò in «Streaming di file grandi»?

Elaborare file senza caricarli interamente Eserciti Go Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.

Ho bisogno di esperienza per iniziare Go Academy?

Non è richiesta alcuna esperienza precedente. Go Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 4 di 4.

Quanto tempo richiede la lezione «Streaming di file grandi»?

La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.

Posso scrivere ed eseguire codice in questa lezione Go Academy?

Sì. Ogni lezione Go Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.

Tutte le lezioni di questo corso

← Torna a Go Academy