CHUYÊN ĐỀ AI THỰC CHIẾN

Bài tập Học tăng cường (Reinforcement Learning) & Tối ưu chính sách

Khác với học có giám sát, tác nhân RL học cách đưa ra quyết định thông qua phần thưởng và hình phạt từ môi trường. Nền tảng cốt lõi của RLHF căn chỉnh AI.

bài tập có chấm code

Bài tập theo chuyên đề, có đề bài, ví dụ và starter code riêng.

cơ bản

Củng cố nền tảng và làm quen với kỹ thuật cốt lõi.

trung bình

Kết hợp nhiều bước suy luận để vận dụng kiến thức.

nâng cao

Thử thách tối ưu, cấu trúc dữ liệu và thuật toán chuyên sâu.

Bước 1

MDP & Phần thưởng

Mô hình hóa trạng thái (State), hành động (Action), phần thưởng (Reward) và hệ số chiết khấu gamma.

Bước 2

Bảng Q-Table

Cập nhật giá trị Q-value bằng phương trình Bellman lặp và chiến lược e-greedy.

Bước 3

Policy Gradient cơ bản

Tối ưu hóa trực tiếp hàm chính sách policy bằng thuật toán REINFORCE.

•

Hệ số khám phá epsilon giảm quá nhanh khiến tác nhân bị kẹt ở chiến lược cục bộ dưới tối ưu.

•

Không chuẩn hóa phần thưởng tích lũy (discounted rewards) khiến gradient dao động mạnh.

Trong mỗi mức độ, bài tập được xếp từ dễ nhất đến khó nhất — hãy đi theo số bước.

Trung bình 4 bài

ai-087Bước 1Trung bình

Quy Hoạch Động Lặp Giá Trị (Value Iteration) Cho Quá Trình Quyết Định Markov

V_k+1(s) = max_{a ∈ A} [ R(s, a) + γ ∑_{s' ∈ S} P(s' | s, a) V_k(s') ]

ai-094Bước 2Trung bình

Phạt Độ Lệch KL (Kullback-Leibler Penalty) Từng Token Cho PPO RLHF

R_penalized(x, y) = R(x, y) - β · D_KL(π_θ ∥ π_ref)

ai-088Bước 3Trung bình

Thuật Toán Gradient Chính Sách REINFORCE Kèm Baseline Giảm Phương Sai

∇_θ J(θ) = E_τ [ ∑_t=0^T ∇_θ log π_θ(a_t | s_t) (G_t - b(s_t)) ]

ai-091Bước 4Trung bình

Hàm Mất Mát Cập Nhật Bellman Mạng DQN Kèm Target Network (Mnih et al. Nature 2015)

1. Mạng chính θ: Dùng để chọn hành động và tính giá trị Q(s_t, a_t; θ).

Nâng cao 6 bài

ai-092Bước 1Nâng cao

Hàm Mất Mát Huấn Luyện Reward Model Theo Mô Hình Bradley-Terry (InstructGPT)

P(y_w ≻ y_l | x) = σ(r_θ(x, y_w) - r_θ(x, y_l)) = 11 + e^{-(r_θ(x, y_w) - r_θ(x, y_l))}

ai-096Bước 2Nâng cao

Bộ Chọn Nhánh Cây Tìm Kiếm Monte Carlo PUCT (AlphaGo Zero / AlphaZero)

a^* = argmax_{a ∈ A} [ Q(s, a) + U(s, a) ]

ai-089Bước 3Nâng cao

Hàm Mục Tiêu Cắt Ngưỡng PPO-Clip (Schulman 2017)

r_t(θ) = π_θ(a_t | s_t)π_{θ_old}(a_t | s_t) = exp(log π_θ(a_t | s_t) - log π_{θ_old}(a_t | s_t))

ai-090Bước 4Nâng cao

Ước Lượng Lợi Thế Tổng Quát (Generalized Advantage Estimation - GAE)

δ_t^V = r_t + γ V(s_t+1)(1 - d_t) - V(s_t)

ai-093Bước 5Nâng cao

Tối Ưu Hóa Sở Thích Trực Tiếp (DPO Loss - Rafailov et al. NeurIPS 2023)

r(x, y) = β log π_θ(y | x)π_ref(y | x)

ai-095Bước 6Nâng cao

Căn Chỉnh Không Cần Reference Model (ORPO Loss - Hong et al. 2024)

odds_θ(y | x) = P_θ(y | x)1 - P_θ(y | x)

Bài tập Học tăng cường (Reinforcement Learning) & Tối ưu chính sách

Lộ trình thực hành đề xuất

MDP & Phần thưởng

Bảng Q-Table

Policy Gradient cơ bản

Lỗi thường gặp & Cách phòng tránh

Danh sách bài tập thực hành (10 bài)

Trung bình 4 bài

Quy Hoạch Động Lặp Giá Trị (Value Iteration) Cho Quá Trình Quyết Định Markov

Phạt Độ Lệch KL (Kullback-Leibler Penalty) Từng Token Cho PPO RLHF

Thuật Toán Gradient Chính Sách REINFORCE Kèm Baseline Giảm Phương Sai

Hàm Mất Mát Cập Nhật Bellman Mạng DQN Kèm Target Network (Mnih et al. Nature 2015)

Nâng cao 6 bài

Hàm Mất Mát Huấn Luyện Reward Model Theo Mô Hình Bradley-Terry (InstructGPT)

Bộ Chọn Nhánh Cây Tìm Kiếm Monte Carlo PUCT (AlphaGo Zero / AlphaZero)

Hàm Mục Tiêu Cắt Ngưỡng PPO-Clip (Schulman 2017)

Ước Lượng Lợi Thế Tổng Quát (Generalized Advantage Estimation - GAE)

Tối Ưu Hóa Sở Thích Trực Tiếp (DPO Loss - Rafailov et al. NeurIPS 2023)

Căn Chỉnh Không Cần Reference Model (ORPO Loss - Hong et al. 2024)

Lộ trình thực hành đề xuất

MDP & Phần thưởng

Bảng Q-Table

Policy Gradient cơ bản

Lỗi thường gặp & Cách phòng tránh

Danh sách bài tập thực hành (10 bài)

Trung bình 4 bài

Nâng cao 6 bài

Chuyên đề liên quan thuộc môn AI

Machine Learning Cổ điển

Huấn luyện mạng Neural & Tối ưu

Transformer & Cơ chế Attention

Tensor & Đại số ma trận