Hàm Mất Mát & Đạo Hàm Skip-Gram với Negative Sampling (SGNS)

Mục tiêu kiến thức

• Hiểu tại sao Mikolov et al. (2013) sử dụng Negative Sampling để thay thế mẫu số Softmax khổng lồ O(|V|) thành bài toán phân loại nhị phân O(K).
• Hàm mất mát cho 1 cặp từ trung tâm w_I (vector v_wI ∈ R^D) và từ ngữ cảnh đích w_O (vector u_wO ∈ R^D):

L = -ln σ(u_wO^T v_wI) - ∑_k=1^K ln σ(-u_wnk^T v_wI) Trong đó w_nk là K từ mẫu âm tính (negative samples) được lấy mẫu ngẫu nhiên.

• Đạo hàm phân tích:

∂ L∂ v_wI = (σ(u_wO^T v_wI) - 1) u_wO + ∑_k=1^K (1 - σ(-u_wnk^T v_wI)) u_wnk ∂ L∂ u_wO = (σ(u_wO^T v_wI) - 1) v_wI ∂ L∂ u_wnk = (1 - σ(-u_wnk^T v_wI)) v_wI = σ(u_wnk^T v_wI) v_wI

Yêu cầu

Viết hàm sgns_loss_and_grad(v_wi: np.ndarray, u_wo: np.ndarray, u_neg: np.ndarray) -> tuple[float, np.ndarray, np.ndarray, np.ndarray]:

• Đầu vào:
• v_wi: Vector từ trung tâm shape (D,).
• u_wo: Vector từ ngữ cảnh dương tính shape (D,).
• u_neg: Ma trận các vector từ âm tính shape (K, D).
• Trả về tuple: (loss, grad_v_wi, grad_u_wo, grad_u_neg):
• loss: Giá trị vô hướng L.
• grad_v_wi: Gradient tương ứng với v_wI shape (D,).
• grad_u_wo: Gradient tương ứng với u_wO shape (D,).
• grad_u_neg: Gradient tương ứng với u_neg shape (K, D).

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.