Cắt Tỉa Attention Head – Điểm Quan Trọng Taylor Expansion

Mục tiêu kiến thức

Không phải mọi attention head đều quan trọng. Điểm quan trọng Taylor bậc nhất: I_h = | E[g_h · W_h] | = | ∂ L∂ W_h · W_h |

Hay đơn giản hơn: I_h = |sum(g_h ⊙ W_h)| trên một batch.

Yêu cầu

def compute_head_importance(
    weight: torch.Tensor,  # [num_heads, head_dim, d_model]
    grad: torch.Tensor,    # same shape
) -> torch.Tensor:
    # Returns importance score per head: [num_heads]
    pass

def select_heads_to_keep(
    importance_scores: torch.Tensor,
    keep_ratio: float = 0.5
) -> torch.Tensor:
    # Returns boolean mask [num_heads]: True = keep
    pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.