Contrastive Learning – SimCSE Và NT-Xent Loss

Mục tiêu kiến thức

NT-Xent (Normalized Temperature-scaled Cross Entropy) loss cho self-supervised learning: L_i = -log exp(sim(z_i, z_i⁺)/τ)∑_{j ≠ i} exp(sim(z_i, z_j)/τ)

Trong đó:

• z_i: embedding của anchor
• z_i⁺: embedding của positive (cùng nghĩa, ví dụ: cùng câu qua 2 dropout masks)
• τ: temperature
• Mẫu âm: tất cả embedding còn lại trong batch

Yêu cầu

def nt_xent_loss(
    z1: torch.Tensor,  # [N, d] embeddings batch 1
    z2: torch.Tensor,  # [N, d] embeddings batch 2 (positives)
    temperature: float = 0.05
) -> torch.Tensor:
    # Returns scalar loss
    pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.