ai-441Bước 1Cơ bản
Thủ thuật tái tham số hoá z = mu + sigma * eps
VAE không lấy mẫu trực tiếp từ N(mu, sigma^2) vì như vậy gradient không truyền qua phép
CHUYÊN ĐỀ AI THỰC CHIẾN
Bài tập Mô hình sinh (Generative Models) trong PyTorch
Tạo ra dữ liệu mới chân thực từ không gian ẩn. Khám phá vẻ đẹp toán học của phân phối Gaussian, độ đo KL Divergence và các bước khử nhiễu của mô hình sinh hiện đại.
15
bài tập có chấm code
Bài tập theo chuyên đề, có đề bài, ví dụ và starter code riêng.
5
cơ bản
Củng cố nền tảng và làm quen với kỹ thuật cốt lõi.
6
trung bình
Kết hợp nhiều bước suy luận để vận dụng kiến thức.
4
nâng cao
Thử thách tối ưu, cấu trúc dữ liệu và thuật toán chuyên sâu.
Lộ trình thực hành đề xuất
Bước 1
Autoencoder cổ điển
Khối Encoder nén chiều dữ liệu và khối Decoder tái tạo ảnh bằng Reconstruction Loss.
Bước 2
Variational Autoencoder (VAE)
Mô hình hóa không gian ẩn thành phân phối chuẩn mu và sigma, kết hợp KL Divergence loss.
Bước 3
Reparameterization Trick
Kỹ thuật tách nhiễu ngẫu nhiên epsilon để cho phép đạo hàm truyền qua phép lấy mẫu.
Lỗi thường gặp & Cách phòng tránh
•
Lấy mẫu ngẫu nhiên trực tiếp trong hàm forward khiến đồ thị tính toán bị đứt gãy, không backprop được.
•
Cân bằng sai trọng số giữa Reconstruction loss và KL Divergence loss dẫn đến hiện tượng sụp đổ không gian ẩn.
Danh sách bài tập thực hành (15 bài)
Trong mỗi mức độ, bài tập được xếp từ dễ nhất đến khó nhất — hãy đi theo số bước.
Cơ bản 5 bài
ai-443Bước 2Cơ bản
Một giá trị beta trong lịch DDPM tuyến tính
DDPM thêm nhiễu theo một lịch beta_t tăng dần. Lịch tuyến tính nội suy đều giữa
ai-442Bước 3Cơ bản
Loss minimax của GAN
GAN gốc huấn luyện bộ sinh bằng giá trị minimax
ai-444Bước 4Cơ bản
Trung bình phân phối q(x_t | x_0)
Trong DDPM, quá trình khuếch tán thuận có phân phối đóng
ai-440Bước 5Cơ bản
KL divergence giữa hai Gaussian chéo
Trong VAE, số hạng chính quy hoá đo độ lệch giữa phân phối hậu nghiệm q và tiên nghiệm
Trung bình 6 bài
ai-098Bước 1Trung bình
Hàm Mất Mát GAN Minimax Và Non-Saturating (Goodfellow et al. 2014)
LD = - Ex [log D(x)] - Ez [log (1 - D(G(z)))]
ai-100Bước 2Trung bình
Lịch Trình Nhiễu Tuyến Tính & Cosine Cho Mô Hình Diffusion DDPM
q(xt | xt-1) = N(xt; √(1 - βt) xt-1, βt I)
ai-101Bước 3Trung bình
Quá Trình Khuếch Tán Thuận Thêm Nhiễu Closed-Form Cho DDPM (Ho et al. 2020)
q(xt | x0) = N(xt; ; √(αt) x0, ; (1 - αt) I)
ai-103Bước 4Trung bình
Khuếch Đại Điều Kiện Không Bộ Phân Loại (Classifier-Free Guidance - Ho & Salimans 2022)
Huấn luyện một mạng nơ-ron duy nhất học cả 2 chế độ:
ai-097Bước 5Trung bình
Mẹo Tái Tham Số Hóa Và Hàm Mất Mát KL Cho VAE (Kingma & Welling 2013)
Thao tác lấy mẫu ngẫu nhiên z ∼ N(μ, σ2) là một nút ngẫu nhiên không thể truyền ngược đạo hàm (non-differentiable). Kingma & Welling tách sự ngẫu nhiên ra khỏi…
ai-105Bước 6Trung bình
Nén Không Gian Tiềm Ẩn Và Chuẩn Hóa Phương Sai (Latent Diffusion - Rombach et al. 2022)
Tách quá trình sinh thành 2 giai đoạn:
Nâng cao 4 bài
ai-099Bước 1Nâng cao
Hàm Mất Mát WGAN Kèm Phạt Gradient Lipschitz (WGAN-GP - Gulrajani et al. 2017)
|D(x1) - D(x2)| ≤ |x1 - x2| ⇔ |∇x D(x)|2 ≤ 1
ai-102Bước 2Nâng cao
Bước Lấy Mẫu Khuếch Tán Ngược DDPM (Denoising Step - Ho et al. 2020)
pθ(xt-1 | xt) = N(xt-1; ; μθ(xt, t), ; βt I)
ai-104Bước 3Nâng cao
Bước Lấy Mẫu Tất Định Tốc Độ Cao DDIM (Song et al. ICLR 2021)
1. Ước lượng ảnh gốc x0:
ai-106Bước 4Nâng cao
Hàm Mất Mát Khớp Dòng Tuyến Tính (Flow Matching / Rectified Flow - SD3 & Flux.1)
xt = (1 - t) x0 + t x1, t ∈ [0, 1]
