Kỹ thuật phạt lặp từ (Repetition Penalty) theo kiến trúc CTRL

Mô tả bài toán

Các mô hình ngôn ngữ tự hồi quy thường có xu hướng tự khuếch đại xác suất của các từ đã xuất hiện, dẫn đến vòng lặp vô nghĩa (như *"và anh ấy nói và anh ấy nói..."*).

Kỹ thuật Repetition Penalty (Keskar et al., CTRL, 2019) phạt có hệ thống tất cả các token đã từng xuất hiện trong lịch sử ngữ cảnh generated_tokens: Cho hệ số phạt θ ≥ 1.0: Với mỗi token i ∈ set(generated_tokens): z'_i = z_i / θ & nếu z_i > 0
z_i · θ & nếu z_i ≤ 0

Lưu ý: Vì z_i ≤ 0 có giá trị âm, việc nhân với θ > 1.0 sẽ làm z'_i càng âm hơn (nhỏ hơn nữa), đảm bảo trong cả hai trường hợp xác suất của token đã xuất hiện luôn bị hạ thấp!

Hãy viết hàm apply_repetition_penalty(logits: np.ndarray, generated_tokens: list[int], penalty: float = 1.2) -> np.ndarray:

• Kiểm tra penalty >= 1.0. Nếu penalty < 1.0, raise ValueError.
• logits: mảng 1D. Nếu không hợp lệ, raise ValueError.
• Bỏ qua các token trong generated_tokens vượt quá kích thước từ điển (không nằm trong [0, len(logits) - 1]).
• Trả về bản sao mảng logits đã áp dụng hệ số phạt.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.