Thuật toán lọc Top-K (Top-K Filtering) cho Ngôn ngữ Tự nhiên

Mô tả bài toán

Thuật toán lọc Top-K (Fan et al., 2018) giới hạn không gian lấy mẫu chỉ trong K token có xác suất cao nhất:

• Tìm ngưỡng giá trị logit của token xếp thứ K:

threshold = giá trị của phần tử lớn thứ K

• Gán tất cả các logits nhỏ hơn threshold thành filter_value (mặc định -∞):

z'_i = z_i & nếu z_i ≥ threshold
-∞ & ngược lại

• Nếu K ≥ V (với V là kích thước từ điển), giữ nguyên toàn bộ logits.

Hãy viết hàm top_k_filtering(logits: np.ndarray, k: int, filter_value: float = -float('inf')) -> np.ndarray:

• Kiểm tra k ≥ 1. Nếu k < 1, raise ValueError.
• logits: mảng 1D numpy array. Nếu không phải 1D hoặc rỗng, raise ValueError.
• Trả về bản sao mảng logits đã được áp dụng bộ lọc Top-K.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.