Hàm Mất Mát Huấn Luyện Reward Model Theo Mô Hình Bradley-Terry (InstructGPT)

Mục tiêu kiến thức

• Trong quy trình RLHF (Giai đoạn 2), con người gán nhãn cặp câu trả lời (y_w, y_l) cho cùng một câu hỏi x, trong đó y_w được ưu tiên hơn y_l (y_w ≻ y_l).
• Mô hình Bradley-Terry (1952) mô hình hóa xác suất câu trả lời y_w được ưa thích hơn y_l dựa trên điểm thưởng vô hướng r_θ:

P(y_w ≻ y_l | x) = σ(r_θ(x, y_w) - r_θ(x, y_l)) = 11 + e^{-(r_θ(x, y_w) - r_θ(x, y_l))}

• Hàm mất mát cực đại hóa hợp lý (Negative Log-Likelihood):

L_RM(θ) = - E_{(x, yw, yl)} [ log σ(r_θ(x, y_w) - r_θ(x, y_l)) ]

• Để tránh tràn số khi tính log σ(z) (underflow khi z ll 0), PyTorch cung cấp hàm ổn định số học F.logsigmoid(z).

Yêu cầu

Viết hàm:

def compute_reward_model_loss(
    chosen_rewards: torch.Tensor,
    rejected_rewards: torch.Tensor
) -> torch.Tensor:
    pass

• chosen_rewards: Tensor 1D (B,) chứa điểm thưởng dự đoán r_θ(x, y_w).
• rejected_rewards: Tensor 1D (B,) chứa điểm thưởng dự đoán r_θ(x, y_l).
• Trả về scalar tensor giá trị mất mát trung bình:

-1B ∑_i=1^B log σ(r_i^w - r_i^l)

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.