Giải Thuật Lọc Xác Suất Top-K, Top-P (Nucleus) & Temperature

Mục tiêu kiến thức

• Khi sinh văn bản từ LLM, tham lam (Greedy decoding: luôn chọn token xác suất lớn nhất) thường dẫn đến hiện tượng lặp từ vô tận hoặc suy thoái ngữ nghĩa.
• Pipeline xử lý Logits chuẩn:
• Temperature Scaling (T > 0):

z'_i = z_iT T < 1 làm phân phối sắc nét hơn (tập trung vào token điểm cao); T > 1 làm phẳng phân phối (tăng tính sáng tạo, đa dạng).

• Top-K Filtering (K ≥ 1):

Chỉ giữ lại K logits có giá trị cao nhất. Đặt tất cả các logits còn lại thành -∞ (-float('inf')).

• Top-P (Nucleus) Filtering (0 < P ≤ 1.0):
• Sắp xếp các logits giảm dần và tính phân phối xác suất tích lũy (cumulative probability).
• Chỉ giữ lại tập token nhỏ nhất có tổng xác suất ≥ P. Đặt các logits ngoài tập này thành -∞. Luôn giữ lại ít nhất 1 token có xác suất cao nhất.
• Chuẩn hóa xác suất:

Tính softmax(z') trên các logits còn lại và trả về phân phối xác suất hợp lệ.

Yêu cầu

Viết hàm:

def process_generation_logits(
    logits: torch.Tensor,
    temperature: float = 1.0,
    top_k: int = 0,
    top_p: float = 1.0
) -> torch.Tensor:
    pass

• logits: Tensor 1 chiều kích thước (vocab_size,).
• temperature: Số thực dương T > 0. Nếu T ≤ 0, raise ValueError.
• top_k: Nếu k > 0, chỉ giữ lại k logits lớn nhất. Nếu k ≥ vocab_size, giữ nguyên.
• top_p: Nếu 0 < p < 1.0, lọc hạt nhân Nucleus.
• Trả về: Tensor xác suất 1 chiều probs cùng shape (vocab_size,) có ∑ probs = 1.0 (tất cả các vị trí bị lọc có xác suất bằng 0.0).

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.