Matryoshka Representation Learning – Embedding Đa Độ Phân Giải

Mục tiêu kiến thức

MRL học embeddings có thể truncate về kích thước nhỏ hơn mà vẫn giữ chất lượng: L_MRL = ∑_{m ∈ M} 1|M| L_m

Trong đó L_m là NT-Xent loss tính trên d[:m] (chỉ m chiều đầu tiên).

Yêu cầu

def matryoshka_loss(
    z1: torch.Tensor,  # [N, d]
    z2: torch.Tensor,  # [N, d]
    scales: list[int],  # e.g. [16, 32, 64, 128, 256]
    temperature: float = 0.05
) -> torch.Tensor:
    # Returns weighted sum of NT-Xent losses at each scale
    pass

Ràng buộc

• Thời gian chạy tối đa: 5000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.