Chắt Lọc Tri Thức (Knowledge Distillation) – Hàm Mất Mát Soft Targets

Mục tiêu kiến thức

Knowledge Distillation (Hinton 2015) huấn luyện student model học từ teacher model bằng cách dùng *soft labels* (xác suất mềm) thay vì hard labels (one-hot).

Hàm mất mát KD: L_KD = α · T² · KL(σ(z_s/T) | σ(z_t/T)) + (1-α) · CE(z_s, y)

Trong đó:

• T: temperature (làm mềm phân phối, T > 1)
• z_s: student logits, z_t: teacher logits
• α: trọng số cân bằng giữa soft và hard loss
• T²: nhân bù gradient (vì KL giảm 1/T² so với CE khi T lớn)

Yêu cầu

def knowledge_distillation_loss(
    student_logits: torch.Tensor,
    teacher_logits: torch.Tensor,
    labels: torch.Tensor,
    temperature: float = 4.0,
    alpha: float = 0.7
) -> torch.Tensor:
    pass

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.