Nén Không Gian Tiềm Ẩn Và Chuẩn Hóa Phương Sai (Latent Diffusion - Rombach et al. 2022)

Mục tiêu kiến thức

• Chạy khuếch tán trực tiếp trên không gian điểm ảnh gốc 512 × 512 × 3 đòi hỏi hàng nghìn tỷ phép tính FLOPs vì hầu hết pixel chứa nhiễu tần số cao mắt người không nhận thấy.
• Latent Diffusion Models (LDM / Stable Diffusion):

Tách quá trình sinh thành 2 giai đoạn:

• Nén cảm thụ (Perceptual Compression): Một mạng Autoencoder (VAE) nén ảnh x ∈ R^{3 × 512 × 512} xuống không gian tiềm ẩn z = E(x) ∈ R^{4 × 64 × 64} (giảm 64 lần số chiều không gian!).
• Chuẩn hóa tỷ lệ phương sai (Scaling Factor):

VAE thường cho ra biểu diễn có độ lệch chuẩn σ_z ≠ 1.0. Để quá trình diffusion bắt đầu từ phân phối chuẩn tắc N(0, I), Rombach et al. nhân không gian tiềm ẩn với một hệ số tỉ lệ cố định: z_scaled = s · E(x), với s = 0.18215 (SD 1.5/2.1) hoặc 0.13025 (SDXL)

• Khi giải mã ảnh:

x = D( z_scaleds )

Yêu cầu

Xây dựng lớp LatentDiffusionAdapter:

class LatentDiffusionAdapter:
    def __init__(self, scaling_factor: float = 0.18215):
        self.scaling_factor = scaling_factor

    def scale_latent(self, latent: torch.Tensor) -> torch.Tensor:
        # latent * scaling_factor
        pass

    def unscale_latent(self, scaled_latent: torch.Tensor) -> torch.Tensor:
        # scaled_latent / scaling_factor
        pass

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.