Cơ chế phạt lặp từ trong sinh văn bản (Repetition Penalty Logit Adjustment)

Mô tả bài toán

Hiện tượng mô hình ngôn ngữ lặp lại một từ hoặc cụm từ vô tận là một lỗi kinh điển trong sinh văn bản. Kỹ thuật Repetition Penalty (chuẩn hóa bởi Keskar et al. và Hugging Face Transformers) điều chỉnh logit của các token đã từng xuất hiện trong lịch sử sinh ngữ cảnh: Cho hệ số phạt θ ≥ 1.0 (thường chọn 1.1 đến 1.3): Với mỗi token t đã xuất hiện trong danh sách token trước đó: z'_t = z_t / θ & nếu z_t > 0
z_t × θ & nếu z_t ≤ 0 Lưu ý quan trọng:

• Nếu z_t > 0, chia cho θ > 1 làm logit giảm xuống (giảm xác suất).
• Nếu z_t < 0, nhân với θ > 1 làm logit âm hơn (càng giảm xác suất).
• Các token chưa từng xuất hiện được giữ nguyên không đổi.

Hãy viết hàm apply_repetition_penalty(logits: np.ndarray, generated_tokens: list[int], penalty: float = 1.2) -> np.ndarray:

• logits: mảng 1D float64 kích thước (V,).
• generated_tokens: danh sách các ID token nguyên đã xuất hiện.
• penalty: hệ số phạt θ ≥ 1.0. Ném ValueError nếu θ < 1.0.
• Trả về mảng NumPy cùng kích thước với các logit đã hiệu chỉnh.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.