Hàm Mục Tiêu Cắt Ngưỡng PPO-Clip (Schulman 2017)

Mục tiêu kiến thức

• Trong Policy Gradient truyền thống, một bước cập nhật tham số quá lớn có thể phá hỏng hoàn toàn chính sách (policy collapse).
• Thuật toán PPO (Schulman 2017) giải quyết bằng cách đo tỷ số xác suất (Probability Ratio):

r_t(theta) = pi_theta(a_t s_t)|pi_thetaold(a_t | s_t) = exp(log pi_theta(a_t | s_t) - log pi_thetaold(a_t | s_t))

• Hàm mục tiêu cắt ngưỡng Surrogate Loss:

L^CLIP(theta) = E_t [ min ( r_t(theta) A_t, clip(r_t(theta), 1 - epsilon, 1 + epsilon) A_t ) ] Trong đó:

• A_t: Lợi thế ước lượng (Advantage).
• epsilon: Ngưỡng cắt (thường epsilon = 0.2).
• Phép lấy min tạo thành một biên giới dưới bi quan (pessimistic lower bound): chỉ cho phép chính sách thay đổi nếu nó không vượt quá khoảng [1-epsilon, 1+epsilon], triệt tiêu động lực tăng vọt tỷ số khi A_t > 0.
• Trong PyTorch (gradient descent), hàm mất mát cần tối thiểu hóa là:

L_PPO = - L^CLIP(theta) = - mean ( min(r_t A_t, clip(r_t, 1-epsilon, 1+epsilon) A_t) )

Yêu cầu

Viết hàm:

def compute_ppo_clipped_loss(
    log_probs_new: torch.Tensor,
    log_probs_old: torch.Tensor,
    advantages: torch.Tensor,
    clip_eps: float = 0.2
) -> torch.Tensor:
    pass

• log_probs_new: Tensor 1D (N,) chứa log pi_theta(a_t | s_t).
• log_probs_old: Tensor 1D (N,) chứa log pi_thetaold(a_t | s_t).
• advantages: Tensor 1D (N,) chứa A_t.
• Trả về scalar tensor giá trị mất mát PPO-Clip.

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.