Speculative Decoding – Xác Minh Token Từ Draft Model

Mục tiêu kiến thức

Speculative decoding tăng tốc inference LLM bằng cách:

• Draft model nhỏ sinh K token nháp x₁, ..., x_K.
• Target model lớn score toàn bộ cùng lúc (parallel).
• Xác minh từng token: nhận token i với xác suất:

α_i = min(1, p(x_i)q(x_i)) Nếu từ chối: sample từ adjusted distribution p' ∝ max(0, p - q).

Yêu cầu

def speculative_verify(
    draft_tokens: list[int],
    draft_probs: torch.Tensor,  # [K, vocab_size]
    target_probs: torch.Tensor, # [K+1, vocab_size]
) -> list[int]:
    # Returns list of accepted tokens (may be shorter than K, plus bonus token)
    pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.