Căn Chỉnh Không Cần Reference Model (ORPO Loss - Hong et al. 2024)

Mục tiêu kiến thức

• DPO tuy không cần Reward Model nhưng vẫn bắt buộc giữ mô hình tham chiếu pi_ref trong bộ nhớ GPU, tốn gấp đôi VRAM so với SFT.
• ORPO (Hong et al. 2024) đề xuất phương pháp căn chỉnh nguyên khối (Monolithic Alignment) kết hợp trực tiếp Supervised Fine-Tuning (SFT) với phạt tỷ số tỷ cược (Odds Ratio) mà hoàn toàn không cần Reference Model:
• Tỷ cược (Odds) của câu trả lời y theo chính sách:

odds_theta(y | x) = P_theta(y x)|1 - P_theta(y | x) Trong đó P_theta(y | x) = exp(log p) là xác suất trung bình trên mỗi token của chuỗi y.

• Log của tỷ cược chính là hàm logit:

log odds_theta(y | x) = log p - log(1 - exp(log p))

• Tỷ số tỷ cược (Odds Ratio - OR) giữa câu được chọn y_w và câu bị loại y_l:

OR_theta(y_w, y_l) = odds_theta(y_w x)|odds_theta(y_l | x) log OR_theta = log odds_theta(y_w) - log odds_theta(y_l)

• Hàm mất mát ORPO:

L_ORPO = L_SFT(y_w) - lambda · log sigma(log OR_theta) Trong đó L_SFT là cross-entropy thông thường trên chuỗi y_w.

Yêu cầu

Viết hàm:

def compute_orpo_loss(
    chosen_nll_loss: torch.Tensor,
    policy_chosen_logps: torch.Tensor,
    policy_rejected_logps: torch.Tensor,
    lambda_orpo: float = 0.1
) -> tuple[torch.Tensor, torch.Tensor]:
    pass

• chosen_nll_loss: Scalar tensor mất mát SFT NLL của câu được chọn y_w.
• policy_chosen_logps: Tensor 1D (B,) chứa log xác suất trung bình của y_w (các giá trị < 0).
• policy_rejected_logps: Tensor 1D (B,) chứa log xác suất trung bình của y_l (các giá trị < 0).
• Trả về tuple (total_loss, odds_ratio_loss):
• total_loss = chosen_nll_loss + lambda_orpo * odds_ratio_loss.
• odds_ratio_loss = - logsigmoid(log_odds_chosen - log_odds_rejected).mean().

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.