Go Academy · 강의

JSON과 CSV 스트리밍

대용량 데이터에 json.Decoder와 encoding/csv 사용

JSON과 CSV 스트리밍은(는) CoddyKit의 무료 Go Academy 강의입니다. 이것은 4개 중 4번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 Go Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. Go Academy 강의에는 총 4개의 강의가 포함되어 있습니다.

스트리밍을 사용하는 이유

큰 JSON 또는 CSV 파일 전체를 메모리에 로드하면 힙 사용량이 높아집니다. 스트리밍은 레코드를 한 번에 하나씩 처리하므로 파일 크기와 관계없이 메모리 사용량을 일정하게 유지합니다.

스트리밍을 위한 json.Decoder

json.NewDecoder는 어떤 io.Reader든 감쌉니다. Token()을 사용하여 JSON 토큰 스트림을 순회하거나 JSON 배열에서는 루프 내부에서 Decode를 사용하십시오.

dec := json.NewDecoder(file)
// consume opening [
for dec.More() {
    var record Record
    dec.Decode(&record)
    process(record)
}

배열 시작 감지하기

디코딩 루프 전에 dec.Token()을 호출하여 여는 대괄호를 소비하십시오:

t, _ := dec.Token() // consume [
for dec.More() {
    var r Record
    dec.Decode(&r)
}

HTTP에서 스트리밍하기

전체 응답을 버퍼링하지 않고 HTTP 응답 본문에서 JSON을 직접 디코딩하십시오:

resp, _ := http.Get(url)
defer resp.Body.Close()
dec := json.NewDecoder(resp.Body)
for dec.More() {
    var item Item
    dec.Decode(&item)
    process(item)
}

encoding/csv 읽기

csv.NewReader는 CSV를 행 단위로 읽습니다. 실제 환경의 다양한 CSV 형식을 처리하려면 LazyQuotes, TrimLeadingSpace, Comment을 설정하십시오.

r := csv.NewReader(file)
for {
    record, err := r.Read()
    if err == io.EOF { break }
    if err != nil { return err }
    process(record)
}

CSV 헤더 건너뛰기

첫 번째 레코드를 읽고 버려 헤더 행을 건너뛰십시오:

r.Read() // discard header
for {
    record, err := r.Read()
    if err == io.EOF { break }
}

csv.Writer

csv.NewWriter로 CSV를 행 단위로 쓰십시오. 항상 w.Flush()를 호출하고 기록 후 w.Error()를 확인하십시오.

w := csv.NewWriter(file)
w.Write([]string{"name", "age"})
w.Flush()
if err := w.Error(); err != nil { return err }

사용자 지정 구분자

CSV 파일은 때때로 세미콜론이나 탭을 사용합니다. 원하는 룬으로 r.Comma를 설정하십시오.

r := csv.NewReader(file)
r.Comma = ';' // semicolon-separated

JSON 줄 스트리밍(NDJSON)

줄바꿈으로 구분된 JSON(한 줄에 JSON 객체 하나)은 간단히 스트리밍할 수 있습니다. 한 줄씩 읽고 각 줄을 독립적으로 언마샬링하십시오.

scanner := bufio.NewScanner(file)
for scanner.Scan() {
    var record Record
    json.Unmarshal(scanner.Bytes(), &record)
}

메모리 사용량 프로파일링과 스트리밍

스트리밍을 사용하면 힙 할당량이 O(파일 크기)가 아니라 O(레코드 크기)로 유지됩니다. 1KB 레코드로 구성된 1GB 파일의 경우 스트리밍은 약 1KB를 사용하는 반면, 메모리에 적재하면 약 1GB를 사용합니다.

스트리밍 중 컨텍스트 취소

디코드 루프 안에서 ctx.Done()을 확인하면 컨텍스트가 취소될 때 스트리밍을 중단할 수 있어, 고루틴이 EOF까지 계속 읽는 것을 방지할 수 있습니다.

for dec.More() {
    select {
    case <-ctx.Done():
        return ctx.Err()
    default:
    }
    dec.Decode(&record)
}

빠른 확인

json.Unmarshal보다 json.Decoder를 사용해 JSON을 스트리밍할 때의 장점은 무엇인가요?

복습: JSON 및 CSV 스트리밍

핵심 내용:

json.Decoder: JSON 배열에는 dec.More()를 사용하는 루프
csv.NewReader: 행 단위로 처리하고, 사용자 지정 구분자에는 Comma 설정
NDJSON: bufio.Scanner와 행마다 수행하는 Unmarshal
파일 크기와 관계없이 메모리 사용량이 일정하게 유지됨

자주 묻는 질문

“JSON과 CSV 스트리밍” 강의는 무료인가요?

네 — “JSON과 CSV 스트리밍” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 Go Academy 강의 전체를 잠금 해제할 수 있습니다. Go Academy 강의에는 총 4개의 강의가 포함되어 있습니다.

“JSON과 CSV 스트리밍”에서 뭘 배우나요?

대용량 데이터에 json.Decoder와 encoding/csv 사용 브라우저에서 직접 실행하는 실습 코드로 Go Academy을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.

Go Academy을(를) 시작하는 데 경험이 필요한가요?

사전 경험은 필요하지 않습니다. CoddyKit의 Go Academy은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 4번째 강의입니다.

“JSON과 CSV 스트리밍” 강의는 얼마나 걸리나요?

대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.

이 Go Academy 강의에서 코드를 작성하고 실행할 수 있나요?

네. 모든 Go Academy 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.

이 강의의 모든 강의

← Go Academy(으)로 돌아가기