조건부 GAN과 스타일 전이

일반 GAN은 무작위 샘플을 생성하므로 특정 클래스를 지정할 수 없습니다. 이 단원에서는 조건부 생성(cGAN), 짝이 없는 이미지 변환(CycleGAN), 신경망 스타일 전이를 다룹니다.

cGAN은 생성자와 판별자 모두에 조건(예: 클래스 레이블)을 추가합니다. 이제 잡음과 함께 레이블을 입력해 “7을 생성해 줘”라고 요청할 수 있습니다.

생성자는 레이블(원-핫 벡터 또는 임베딩)을 잡음 벡터와 연결합니다. 결합된 입력을 사용하면 요청한 클래스에 해당하는 샘플을 생성할 수 있습니다.

판별자도 레이블을 받으므로 단순히 “이것은 실제인가?”만 판단하는 것이 아니라 “이것은 이 클래스의 실제 예시인가?”를 판단합니다. 이를 통해 생성자가 조건을 반드시 따르도록 합니다.

서로 대응하는 쌍이 없는 경우가 많습니다(예: 같은 말을 얼룩말로 바꾼 이미지). CycleGAN은 짝이 없는 이미지를 사용해 두 도메인 사이를 변환하며, 정렬된 예시 없이 말에서 얼룩말로, 다시 얼룩말에서 말로 변환하는 법을 학습합니다.

CycleGAN은 두 생성자를 사용합니다. G: A to B와 F: B to A이며, 각 생성자에는 자체 판별자가 있습니다. 두 생성자는 함께 두 도메인 사이를 양방향으로 변환합니다.

핵심 아이디어는 A를 B로 변환한 다음 다시 A로 변환했을 때 원본이 나와야 한다는 것입니다. 순환 일관성 손실은 F(G(a)) == a를 강제하여, 쌍을 이룬 데이터 없이도 매핑을 제한합니다.

신경망 스타일 전이는 한 이미지의 콘텐츠와 다른 이미지의 스타일을 결합합니다(예: 반 고흐가 그린 것처럼 보이는 사진). 사전 학습된 CNN의 특징을 사용해 출력 이미지를 직접 최적화합니다.

콘텐츠 손실은 깊은 CNN 특징 맵을 일치시켜 출력의 고수준 구조가 콘텐츠 이미지와 가깝게 유지되도록 합니다. 이미지에 무엇이 있는지를 보존합니다.

스타일은 특징 채널 사이의 상관관계를 나타내는 그램 행렬로 포착합니다. 그램 행렬을 일치시키면 텍스처와 색상이 전달됩니다. 스타일 손실은 출력 이미지와 스타일 이미지의 그램 행렬을 비교합니다.

전체 손실은 가중합입니다. alpha * content_loss + beta * style_loss와 같습니다. 가중치를 조정하면 결과가 콘텐츠를 얼마나 보존할지와 스타일을 얼마나 강하게 적용할지의 균형을 조절할 수 있습니다.

조건부 생성에 대한 지식을 확인해 보세요.

cGANs는 제어된 생성을 위해 클래스 레이블을 생성자(및 판별자)의 입력에 연결하고, CycleGAN은 짝이 없는 변환에 순환 일관성 손실을 사용하며, 신경망 스타일 전이는 콘텐츠 손실과 그램 행렬 스타일 손실을 결합해 이미지를 다시 그린다는 것을 학습했습니다.