Hàm Mất Mát GAN Minimax Và Non-Saturating (Goodfellow et al. 2014)

Mục tiêu kiến thức

• Trong GAN nguyên bản (Goodfellow 2014):
• Mạng Phân biệt D: Nhận diện ảnh thật x là nhãn 1 và ảnh giả G(z) là nhãn 0.
• Mất mát Discriminator:

L_D = - E_x [log D(x)] - E_z [log (1 - D(G(z)))]

• Vấn đề bão hòa gradient (Vanishing Gradients) của Minimax Generator:
• Mục tiêu gốc của Generator là cực tiểu hóa E_z [log(1 - D(G(z)))]. Ở giai đoạn đầu huấn luyện khi D dễ dàng phân biệt ảnh giả (D(G(z)) ≈ 0), log(1 - D) có đạo hàm gần bằng 0, khiến Generator không thể học được gì!
• Giải pháp Non-Saturating Loss:
• Thay vì cực tiểu hóa log(1 - D), Goodfellow đề xuất cực đại hóa log D(G(z)), tức cực tiểu hóa:

L_G^NS = - E_z [log D(G(z))]

• Hàm này cung cấp gradient cực lớn ở đầu quá trình huấn luyện khi D(G(z)) gần 0.

Yêu cầu

Viết 2 hàm tính mất mát từ logits thô (chưa qua sigmoid) để đảm bảo ổn định số học:

def compute_discriminator_loss(real_logits: torch.Tensor, fake_logits: torch.Tensor) -> torch.Tensor:
    # Binary cross entropy: real target = 1.0, fake target = 0.0
    pass

def compute_generator_loss(fake_logits: torch.Tensor, mode: str = "non_saturating") -> torch.Tensor:
    # mode = "non_saturating": target = 1.0
    # mode = "minimax": - log(1 - sigmoid(fake_logits))
    pass

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.