Cơ chế Min-P Sampling loại bỏ đuôi phân phối thích ứng (Min-P Sampling)
Gần đây trong cộng đồng Open LLM, kỹ thuật Min-P Sampling được đánh giá vượt trội so với Top-P và Top-K:
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: top-p-nucleus-sampling-logits.
Nội dung đề bài
Mô tả bài toán
Gần đây trong cộng đồng Open LLM, kỹ thuật Min-P Sampling được đánh giá vượt trội so với Top-P và Top-K: Thay vì tính tổng xác suất tích lũy, Min-P thiết lập một ngưỡng xác suất tương đối dựa trực tiếp vào token có xác suất cao nhất pmax: pthreshold = pmax × min_p với tham số min_p ∈ (0, 1] (thường chọn 0.05 đến 0.1). Tất cả các token có xác suất pi < pthreshold sẽ bị gán logit bằng -∞.
- Nếu mô hình rất tự tin (pmax = 0.9), ngưỡng cắt là 0.9 × 0.1 = 0.09, loại sạch các token rác.
- Nếu mô hình phân vân (pmax = 0.1), ngưỡng cắt giảm xuống 0.01, cho phép giữ lại đa dạng nhiều lựa chọn.
Hãy viết hàm min_p_filtering(logits: np.ndarray, min_p: float = 0.05, filter_value: float = -float('inf')) -> np.ndarray:
logits: mảng 1D float64 kích thước (V,).min_p: tỷ lệ ngưỡng 0.0 < min_p ≤ 1.0.- Trả về mảng NumPy cùng kích thước sau khi đã lọc.
Input
- Hàm
min_p_filtering(logits,min_p,filter_value): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
min_p_filtering: Trả về kết quả kiểunp.ndarraytheo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
logits = np.array([5.0, 3.75, 2.8, 1.4])
filtered = min_p_filtering(logits, min_p=0.1)Output
[5. , 3.75, 2.8 , -inf]Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
logits = np.array([2.0, 2.0, 2.0])
filtered = min_p_filtering(logits, min_p=0.5)Output
[2., 2., 2.]Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.