Đánh Giá LLM – Perplexity, Self-BLEU Và Diversity Metrics

Mục tiêu kiến thức

1. Perplexity

PPL = exp(-1N∑_i=1^N log P(w_i | w_<i)) = exp(H)

Cross-entropy H thấp -> perplexity thấp -> mô hình ngôn ngữ tốt.

2. N-gram BLEU

BLEU = BP · exp(∑_n w_n log p_n)

Trong đó p_n là n-gram precision.

3. Self-BLEU

Tính BLEU của mỗi câu so với các câu khác trong cùng tập sinh. Diversity thấp = self-BLEU cao.

Yêu cầu

def compute_perplexity(log_probs: list[float]) -> float:
    # log_probs: list of log P(w_i|w_{<i})
    pass

def compute_ngram_precision(hypothesis: list[str], reference: list[str], n: int) -> float:
    pass

def compute_bleu_1(hypothesis: str, reference: str) -> float:
    # Unigram BLEU with brevity penalty
    pass

def compute_self_bleu(sentences: list[str]) -> float:
    # Average BLEU of each sentence vs all others
    pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.