ai-447Bước 1Cơ bản
Lợi nhuận chiết khấu của một dãy phần thưởng
Trong học tăng cường, mục tiêu của tác nhân là lợi nhuận chiết khấu
CHUYÊN ĐỀ AI THỰC CHIẾN
Bài tập Học tăng cường (Reinforcement Learning) & Tối ưu chính sách
Khác với học có giám sát, tác nhân RL học cách đưa ra quyết định thông qua phần thưởng và hình phạt từ môi trường. Nền tảng cốt lõi của RLHF căn chỉnh AI.
15
bài tập có chấm code
Bài tập theo chuyên đề, có đề bài, ví dụ và starter code riêng.
5
cơ bản
Củng cố nền tảng và làm quen với kỹ thuật cốt lõi.
4
trung bình
Kết hợp nhiều bước suy luận để vận dụng kiến thức.
6
nâng cao
Thử thách tối ưu, cấu trúc dữ liệu và thuật toán chuyên sâu.
Lộ trình thực hành đề xuất
Bước 1
MDP & Phần thưởng
Mô hình hóa trạng thái (State), hành động (Action), phần thưởng (Reward) và hệ số chiết khấu gamma.
Bước 2
Bảng Q-Table
Cập nhật giá trị Q-value bằng phương trình Bellman lặp và chiến lược e-greedy.
Bước 3
Policy Gradient cơ bản
Tối ưu hóa trực tiếp hàm chính sách policy bằng thuật toán REINFORCE.
Lỗi thường gặp & Cách phòng tránh
•
Hệ số khám phá epsilon giảm quá nhanh khiến tác nhân bị kẹt ở chiến lược cục bộ dưới tối ưu.
•
Không chuẩn hóa phần thưởng tích lũy (discounted rewards) khiến gradient dao động mạnh.
Danh sách bài tập thực hành (15 bài)
Trong mỗi mức độ, bài tập được xếp từ dễ nhất đến khó nhất — hãy đi theo số bước.
Cơ bản 5 bài
ai-446Bước 2Cơ bản
Chọn hành động epsilon-greedy với một số ngẫu nhiên
Epsilon-greedy là cách cân bằng khám phá và khai thác trong học tăng cường: với xác suất
ai-448Bước 3Cơ bản
Cập nhật một giá trị Q (Q-learning)
Q-learning cập nhật giá trị hành động theo sai lệch thời gian:
ai-449Bước 4Cơ bản
Xác suất của policy softmax
Policy softmax biến giá trị hành động Q(s, a) thành phân phối xác suất để bốc hành động:
ai-445Bước 5Cơ bản
Một lần quét value iteration trên MDP nhỏ
Value iteration là thuật toán nền tảng của học tăng cường: lặp đi lặp lại phép gán
Trung bình 4 bài
ai-087Bước 1Trung bình
Quy Hoạch Động Lặp Giá Trị (Value Iteration) Cho Quá Trình Quyết Định Markov
Vk+1(s) = maxa ∈ A [ R(s, a) + γ ∑s' ∈ S P(s' | s, a) Vk(s') ]
ai-094Bước 2Trung bình
Phạt Độ Lệch KL (Kullback-Leibler Penalty) Từng Token Cho PPO RLHF
Rpenalized(x, y) = R(x, y) - β · DKL(πθ ∥ πref)
ai-088Bước 3Trung bình
Thuật Toán Gradient Chính Sách REINFORCE Kèm Baseline Giảm Phương Sai
∇θ J(θ) = Eτ [ ∑t=0T ∇θ log πθ(at | st) (Gt - b(st)) ]
ai-091Bước 4Trung bình
Hàm Mất Mát Cập Nhật Bellman Mạng DQN Kèm Target Network (Mnih et al. Nature 2015)
1. Mạng chính θ: Dùng để chọn hành động và tính giá trị Q(st, at; θ).
Nâng cao 6 bài
ai-092Bước 1Nâng cao
Hàm Mất Mát Huấn Luyện Reward Model Theo Mô Hình Bradley-Terry (InstructGPT)
P(yw ≻ yl | x) = σ(rθ(x, yw) - rθ(x, yl)) = 11 + e-(rθ(x, yw) - rθ(x, yl))
ai-096Bước 2Nâng cao
Bộ Chọn Nhánh Cây Tìm Kiếm Monte Carlo PUCT (AlphaGo Zero / AlphaZero)
a* = argmaxa ∈ A [ Q(s, a) + U(s, a) ]
ai-089Bước 3Nâng cao
Hàm Mục Tiêu Cắt Ngưỡng PPO-Clip (Schulman 2017)
rt(θ) = πθ(at | st)πθold(at | st) = exp(log πθ(at | st) - log πθold(at | st))
ai-090Bước 4Nâng cao
Ước Lượng Lợi Thế Tổng Quát (Generalized Advantage Estimation - GAE)
δtV = rt + γ V(st+1)(1 - dt) - V(st)
ai-093Bước 5Nâng cao
Tối Ưu Hóa Sở Thích Trực Tiếp (DPO Loss - Rafailov et al. NeurIPS 2023)
r(x, y) = β log πθ(y | x)πref(y | x)
ai-095Bước 6Nâng cao
Căn Chỉnh Không Cần Reference Model (ORPO Loss - Hong et al. 2024)
oddsθ(y | x) = Pθ(y | x)1 - Pθ(y | x)
