Hàm Mất Mát Cập Nhật Bellman Mạng DQN Kèm Target Network (Mnih et al. Nature 2015)

Mục tiêu kiến thức

• Deep Q-Network (DQN) kết hợp mạng nơ-ron sâu với thuật toán Q-Learning để xấp xỉ hàm giá trị hành động Q(s, a; θ).
• Để khắc phục hiện tượng mất ổn định khi tối ưu hóa mạng nơ-ron (chạy theo mục tiêu di động - moving target), DQN duy trì 2 mạng:
• Mạng chính θ: Dùng để chọn hành động và tính giá trị Q(s_t, a_t; θ).
• Mạng mục tiêu (Target Network) θ^-: Được đóng băng trọng số, cập nhật định kỳ.
• Mục tiêu Bellman tối ưu:

y_t = r_t + γ max_a' Q(s_t+1, a'; θ^-) · (1 - d_t)

• Hàm mất mát TD (Smooth L1 Loss hoặc MSE Loss):

L(θ) = 1B ∑_i=1^B MSE ( Q(s_t, a_t; θ), ; y_t )

Yêu cầu

Viết hàm:

def compute_dqn_loss(
    q_values: torch.Tensor,
    actions: torch.Tensor,
    rewards: torch.Tensor,
    next_q_values: torch.Tensor,
    dones: torch.Tensor,
    gamma: float = 0.99
) -> torch.Tensor:
    pass

• q_values: Tensor (B, num_actions) chứa dự đoán Q(s_t, ·) từ mạng chính.
• actions: Tensor 1D (B,) kiểu int64 chứa hành động a_t đã thực hiện.
• rewards: Tensor 1D (B,) chứa r_t.
• next_q_values: Tensor (B, num_actions) chứa Q(s_t+1, ·) từ mạng Target (đã detach).
• dones: Tensor 1D (B,) (1.0 nếu trạng thái kết thúc, 0.0 nếu chưa).
• Sử dụng torch.gather để trích xuất Q(s_t, a_t).
• Trả về scalar tensor MSE loss giữa Q(s_t, a_t) và mục tiêu y_t.

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.