Cân bằng biên độ vector nhúng bằng hệ số nhân căn bậc hai chiều mô hình (Embedding Scale Factor in Transformers)

Mô tả bài toán

Trong bài báo kinh điển *Attention Is All You Need* (Vaswani et al., 2017), các tác giả đã nhân vector nhúng với √(d_model) trước khi cộng với Positional Encoding:

x_scaled = x × √(d_model)

Yêu cầu

• Viết hàm scale_embeddings(embeddings: np.ndarray, d_model: int) -> np.ndarray:
• Kiểm tra d_model > 0. Nếu d_model <= 0, ném ValueError("d_model must be positive").
• Trả về tensor đã nhân với √(d_model).
• Viết hàm scale_embeddings_backward(grad_output: np.ndarray, d_model: int) -> np.ndarray:
• Tính đạo hàm theo x: ∂ L∂ x = grad_output × √(d_model).
• Nếu d_model <= 0, ném ValueError("d_model must be positive").

Input

• Hàm scale_embeddings(embeddings, d_model): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
• Hàm scale_embeddings_backward(grad_output, d_model): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.

Output

• Hàm scale_embeddings: Trả về kết quả kiểu np.ndarray theo đúng đặc tả kỹ thuật và kích thước quy định.
• Hàm scale_embeddings_backward: Trả về kết quả kiểu np.ndarray theo đúng đặc tả kỹ thuật và kích thước quy định.

Ràng buộc

• Thời gian chạy tối đa: 6000ms.
• Giới hạn bộ nhớ: 512MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.

Ví dụ 1