Hàm Mục Tiêu Cắt Ngưỡng PPO-Clip (Schulman 2017)

Mục tiêu kiến thức

• Trong Policy Gradient truyền thống, một bước cập nhật tham số quá lớn có thể phá hỏng hoàn toàn chính sách (policy collapse).
• Thuật toán PPO (Schulman 2017) giải quyết bằng cách đo tỷ số xác suất (Probability Ratio):

r_t(θ) = π_θ(a_t | s_t)π_θold(a_t | s_t) = exp(log π_θ(a_t | s_t) - log π_θold(a_t | s_t))

• Hàm mục tiêu cắt ngưỡng Surrogate Loss:

L^CLIP(θ) = E_t [ min ( r_t(θ) A_t, ; clip(r_t(θ), 1 - ε, 1 + ε) A_t ) ] Trong đó:

• A_t: Lợi thế ước lượng (Advantage).
• ε: Ngưỡng cắt (thường ε = 0.2).
• Phép lấy min tạo thành một biên giới dưới bi quan (pessimistic lower bound): chỉ cho phép chính sách thay đổi nếu nó không vượt quá khoảng [1-ε, 1+ε], triệt tiêu động lực tăng vọt tỷ số khi A_t > 0.
• Trong PyTorch (gradient descent), hàm mất mát cần tối thiểu hóa là:

L_PPO = - L^CLIP(θ) = - mean ( min(r_t A_t, clip(r_t, 1-ε, 1+ε) A_t) )

Yêu cầu

Viết hàm:

def compute_ppo_clipped_loss(
    log_probs_new: torch.Tensor,
    log_probs_old: torch.Tensor,
    advantages: torch.Tensor,
    clip_eps: float = 0.2
) -> torch.Tensor:
    pass

• log_probs_new: Tensor 1D (N,) chứa log π_θ(a_t | s_t).
• log_probs_old: Tensor 1D (N,) chứa log π_θold(a_t | s_t).
• advantages: Tensor 1D (N,) chứa A_t.
• Trả về scalar tensor giá trị mất mát PPO-Clip.

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.