미세 조정: 동결 해제와 재학습
base_model.trainable = True, 레이어별 동결 해제, 차등 학습률을 다룹니다.
미세 조정: 동결 해제와 재학습은(는) CoddyKit의 무료 Learn AI with Python 강의입니다. 이것은 4개 중 3번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 Learn AI with Python 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. Learn AI with Python 강의에는 총 4개의 강의가 포함되어 있습니다.
미세 조정 시점
특징 추출로 헤드를 학습한 후, 미세 조정을 통해 사전 학습된 기반 모델의 상위 부분이 데이터에 적응하도록 하면 정확도를 더 높일 수 있습니다. 헤드가 안정된 후에만 수행해야 합니다. 그렇지 않으면 무작위로 초기화된 헤드에서 발생하는 큰 기울기가 기반 모델을 손상시킬 수 있습니다.
기반 모델 동결 해제
base.trainable = True로 설정하면 가중치를 다시 업데이트할 수 있습니다. 하지만 이 설정만으로는 모든 계층의 동결이 해제되므로, 일반적으로 너무 공격적인 방법입니다.
base.trainable = True
print("Trainable layers:", sum(l.trainable for l in base.layers))처음 N개 계층 동결하기
초기 계층에는 유지하고 싶은 일반적인 가장자리 및 질감 감지기가 들어 있습니다. 처음 N개 계층을 다시 동결하고, 더 깊은 작업별 계층만 미세 조정하십시오.
base.trainable = True
freeze_until = 100 # keep first 100 layers frozen
for layer in base.layers[:freeze_until]:
layer.trainable = False
for layer in base.layers[freeze_until:]:
layer.trainable = True매우 낮은 학습률이 필요한 이유
미세 조정에는 1e-5와 같은 매우 작은 학습률이 필요합니다. 사전 학습된 가중치는 이미 충분히 좋으므로 조금씩만 조정하면 됩니다. 학습률이 크면 치명적 망각이 발생하여, 이 작업을 위해 활용한 ImageNet 지식을 지워 버립니다.
동결 해제 후 다시 컴파일
trainable 플래그를 변경한 후에는 반드시 다시 컴파일해야 합니다. 그래야 Keras가 어떤 가중치에 기울기를 적용할지 다시 구성합니다. 이때 낮은 학습률을 설정하십시오.
from tensorflow.keras.optimizers import Adam
model.compile(
optimizer=Adam(learning_rate=1e-5),
loss="categorical_crossentropy",
metrics=["accuracy"]
)두 단계 과정
- 1단계(특징 추출): 기반 모델을 동결하고 약 1e-3의 학습률로 검증 정확도가 정체될 때까지 헤드를 학습합니다.
- 2단계(미세 조정): 상위 계층의 동결을 해제하고 약 1e-5로 다시 컴파일한 후 학습을 계속합니다.
이렇게 나누면 학습이 안정되고 사전 학습된 특징을 보호할 수 있습니다.
2단계에서 학습 계속하기
initial_epoch를 사용하여 1단계가 중단된 지점부터 학습을 재개하면 로그와 일정이 연속적으로 유지됩니다.
history2 = model.fit(
train_ds,
validation_data=val_ds,
epochs=20,
initial_epoch=10 # phase 1 ended at epoch 10
)학습률 스케줄러
스케줄러는 시간이 지남에 따라 학습률을 감소시켜 모델이 수렴할수록 업데이트 크기가 줄어들게 합니다. ReduceLROnPlateau는 검증 손실이 정체되면 학습률을 자동으로 낮춥니다.
from tensorflow.keras.callbacks import ReduceLROnPlateau
lr_cb = ReduceLROnPlateau(
monitor="val_loss", factor=0.5,
patience=2, min_lr=1e-7
)
model.fit(train_ds, validation_data=val_ds,
epochs=20, callbacks=[lr_cb])BatchNorm 사용 시 주의 사항
ResNet과 EfficientNet에는 실행 중인 통계를 추적하는 BatchNormalization 계층이 포함되어 있습니다. 미세 조정 시 BN 계층을 동결된 상태로 유지하거나 추론 모드로 실행하면 더 안정적인 결과를 얻는 경우가 많습니다. 작은 데이터 세트에서 통계를 업데이트하면 정확도가 떨어질 수 있기 때문입니다.
과적합 주의하기
미세 조정은 학습 가능한 매개변수를 많이 추가하므로 과적합 위험이 커집니다. 데이터 증강, 드롭아웃, 검증 손실을 기준으로 하는 EarlyStopping으로 과적합에 대응하십시오.
from tensorflow.keras.callbacks import EarlyStopping
stop = EarlyStopping(monitor="val_loss",
patience=4,
restore_best_weights=True)종합하기
안정적인 미세 조정 과정은 다음과 같습니다. head를 학습하고, 상위 계층의 고정을 해제하고, BN을 고정한 뒤, 1e-5에서 다시 컴파일하고, 스케줄러와 조기 종료를 사용해 학습합니다. 미세 조정이 실제로 도움이 되었는지 확인하려면 전후의 검증 정확도를 항상 비교하십시오.
빠른 확인
미세 조정 지식을 확인해 보십시오.
복습
base.trainable=True로 설정하고, 처음 N개 계층을 다시 고정하고, 아주 작은 학습률(1e-5)로 다시 컴파일한 뒤, 2단계 과정을 실행하여 미세 조정하는 방법을 배웠습니다. 학습률 스케줄러와 조기 종료를 사용하면 학습을 안정적으로 유지할 수 있으며, BatchNorm 계층은 세심하게 다루어야 합니다. 다음 주제는 엣지 배포를 위한 경량 모델입니다.
자주 묻는 질문
“미세 조정: 동결 해제와 재학습” 강의는 무료인가요?
네 — “미세 조정: 동결 해제와 재학습” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 Learn AI with Python 강의 전체를 잠금 해제할 수 있습니다. Learn AI with Python 강의에는 총 4개의 강의가 포함되어 있습니다.
“미세 조정: 동결 해제와 재학습”에서 뭘 배우나요?
base_model.trainable = True, 레이어별 동결 해제, 차등 학습률을 다룹니다. 브라우저에서 직접 실행하는 실습 코드로 Learn AI with Python을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.
Learn AI with Python을(를) 시작하는 데 경험이 필요한가요?
사전 경험은 필요하지 않습니다. CoddyKit의 Learn AI with Python은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 3번째 강의입니다.
“미세 조정: 동결 해제와 재학습” 강의는 얼마나 걸리나요?
대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.
이 Learn AI with Python 강의에서 코드를 작성하고 실행할 수 있나요?
네. 모든 Learn AI with Python 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.