Cân bằng biên độ vector nhúng bằng hệ số nhân căn bậc hai chiều mô hình (Embedding Scale Factor in Transformers)

Mô tả bài toán

Trong bài báo kinh điển *Attention Is All You Need* (Vaswani et al., 2017), các tác giả đã nhân vector nhúng với √(d_model) trước khi cộng với Positional Encoding:

x_scaled = x × √(d_model)

Lý do toán học:

Khi khởi tạo trọng số embedding bằng phân phối chuẩn N(0, 1/d_model), phương sai của mỗi chiều là 1d_model. Chuẩn L2 kỳ vọng của vector là: E[|x|₂] ≈ √(d_model × 1d_model) = 1 Khi đó, biên độ các giá trị của x rất nhỏ (cỡ ± 1√(d_model)), khiến thông tin embedding bị áp đảo hoàn toàn bởi Positional Encoding (vốn có biên độ ∈ [-1, 1]). Việc nhân với √(d_model) đưa biên độ embedding về cùng quy mô với positional encoding.

Yêu cầu kỹ thuật:

• Viết hàm scale_embeddings(embeddings: np.ndarray, d_model: int) -> np.ndarray:
• Kiểm tra d_model > 0. Nếu d_model <= 0, ném ValueError("d_model must be positive").
• Trả về tensor đã nhân với √(d_model).
• Viết hàm scale_embeddings_backward(grad_output: np.ndarray, d_model: int) -> np.ndarray:
• Tính đạo hàm theo x: ∂ L∂ x = grad_output × √(d_model).
• Nếu d_model <= 0, ném ValueError("d_model must be positive").

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.