Pandas와 SQL 통합

pandas와 SQL의 만남

SQLAlchemy를 사용하는 이유

엔진 생성하기

from sqlalchemy import create_engine

engine = create_engine("sqlite:///ml.db")
# Postgres: create_engine("postgresql://user:pass@host:5432/db")

pd.read_sql로 표 읽기

import pandas as pd

df = pd.read_sql("SELECT * FROM experiments", engine)
print(df.head())

필터링된 질의로 읽기

df = pd.read_sql(
    "SELECT name, accuracy FROM experiments WHERE accuracy > 0.85 ORDER BY accuracy DESC",
    engine,
)
print(df)

매개변수화된 질의

from sqlalchemy import text

df = pd.read_sql(
    text("SELECT * FROM experiments WHERE name = :n"),
    engine,
    params={"n": "xgb"},
)

df.to_sql로 DataFrame 저장하기

df.to_sql("results", engine, index=False)

인덱스 매개변수

df.to_sql("results", engine, index=False)   # no extra index column

기존 표가 있을 때의 동작 매개변수

df.to_sql("results", engine, if_exists="append", index=False)
# Use "replace" to overwrite, "fail" to be safe

왕복 작업 과정

import pandas as pd
from sqlalchemy import create_engine

engine = create_engine("sqlite:///ml.db")
raw = pd.read_sql("SELECT * FROM experiments", engine)
raw["accuracy_pct"] = (raw["accuracy"] * 100).round(1)
raw.to_sql("experiments_clean", engine, if_exists="replace", index=False)

대형 표를 위한 묶음 단위 읽기

for chunk in pd.read_sql("SELECT * FROM big_table", engine, chunksize=10000):
    process(chunk)   # handle 10k rows at a time

빠른 확인: 행 추가하기

복습: pandas와 SQL