Thuật toán Nucleus Sampling (Top-P Filtering)

Mô tả bài toán

Nhược điểm của Top-K là số lượng ứng viên K luôn cố định:

• Khi mô hình phân vân (phân phối phẳng), K cố định có thể bỏ lọt các ứng viên tốt.
• Khi mô hình rất tự tin (phân phối nhọn), K=50 vẫn bao gồm quá nhiều token tệ.

Nucleus Sampling (Top-P) (Holtzman et al., 2019) giải quyết triệt để vấn đề này bằng cách chọn tập hợp nhỏ nhất các token có tổng xác suất vượt ngưỡng p (0 < p ≤ 1.0):

• Tính xác suất softmax của logits.
• Sắp xếp các token theo thứ tự xác suất giảm dần.
• Tính xác suất tích lũy (cumulative sum).
• Giữ lại các token cho đến khi tổng tích lũy vừa vượt ngưỡng p. Luôn giữ lại tối thiểu 1 token (token có xác suất lớn nhất).
• Gán logits của các token còn lại bằng filter_value (mặc định -∞).

Hãy viết hàm top_p_filtering(logits: np.ndarray, p: float = 0.9, filter_value: float = -float('inf')) -> np.ndarray:

• Kiểm tra 0 < p ≤ 1.0. Nếu không thỏa, raise ValueError.
• logits: mảng 1D. Nếu không hợp lệ, raise ValueError.
• Trả về mảng logits đã được lọc theo chuẩn Nucleus Sampling.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.