Khuếch Đại Điều Kiện Không Bộ Phân Loại (Classifier-Free Guidance - Ho & Salimans 2022)

Mục tiêu kiến thức

• Trong mô hình Text-to-Image (như Stable Diffusion, DALL-E 3, Midjourney), ta muốn ảnh sinh ra bám sát prompt chữ (text conditioning).
• Trước đây, Classifier Guidance cần một bộ phân loại phụ p(c | x_t) được huấn luyện riêng trên ảnh nhiễu.
• Classifier-Free Guidance (Ho & Salimans 2022):

Huấn luyện một mạng nơ-ron duy nhất học cả 2 chế độ:

• Có điều kiện: ε_θ(x_t, c) (nhận prompt c).
• Không điều kiện: ε_θ(x_t, ∅) (thay prompt bằng chuỗi rỗng với xác suất 10%).
• Công thức ngoại suy CFG (Extrapolation Formula):

ε_θ(x_t, c) = ε_θ(x_t, ∅) + w · ( ε_θ(x_t, c) - ε_θ(x_t, ∅) ) hoặc viết tương đương: ε_θ(x_t, c) = (1 + w) · ε_θ(x_t, c) - w · ε_θ(x_t, ∅) Trong đó:

• w (thường ký hiệu guidance_scale hoặc s): Hệ số khuếch đại (thường w ∈ [5.0, 9.0]).
• w = 1.0: Dự đoán có điều kiện thông thường.
• w > 1.0: Đẩy dự đoán đi xa khỏi phân phối rác không điều kiện, tăng đột biến độ tương đồng ngữ nghĩa với prompt và độ bão hòa màu sắc!

Yêu cầu

Viết hàm:

def apply_classifier_free_guidance(
    uncond_noise: torch.Tensor,
    cond_noise: torch.Tensor,
    guidance_scale: float = 7.5
) -> torch.Tensor:
    pass

• uncond_noise: Tensor dự đoán nhiễu không điều kiện.
• cond_noise: Tensor cùng shape dự đoán nhiễu có điều kiện.
• guidance_scale: Số thực w.
• Trả về tensor nhiễu đã được điều hướng theo CFG.

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.