ai-155Đọc toàn bộ đề miễn phí

Hoán Vị Trục (Permute) và Tính Liên Tục (Contiguous) của Tensor

Trong cài đặt Multi-Head Attention của PyTorch, sau khi tính toán các đầu chú ý, tensor có shape (B, H, T, D). Để chuẩn bị đưa qua tầng Linear chiếu ra (proj), ta phải hoán vị chiề…

AINâng cao30 phút

Tiến độ của tôi ở bài này

Điểm được lưu vào tài khoản sau khi chấm bài.

Đang tải điểm của bạn…

Kiến thức và chủ đề

tensorpermutecontiguousstridesmemory-layoutpytorch

Kiến thức tiên quyết: tensor-reshape-flatten-squeeze, arch-memory-ndarray.

Nội dung đề bài

Mô tả bài toán

Trong cài đặt Multi-Head Attention của PyTorch, sau khi tính toán các đầu chú ý, tensor có shape (B, H, T, D). Để chuẩn bị đưa qua tầng Linear chiếu ra (proj), ta phải hoán vị chiều trở lại (B, T, H, D) và gộp H * D. Tuy nhiên, lệnh transpose hoặc permute chỉ thay đổi metadata strides mà không đảo thứ tự byte trong RAM, khiến tensor trở thành non-contiguous. Gọi ngay .view() lúc này sẽ làm chương trình văng lỗi RuntimeError: view size is not compatible with input tensor's size and stride.

Yêu cầu

Viết hàm safe_permute_and_flatten(x: np.ndarray, permutation: tuple[int, ...], flatten_last_two: bool = True) -> tuple[np.ndarray, bool]:

  • Kiểm tra mảng x: thực hiện hoán vị các trục theo permutation.
  • Kiểm tra xem mảng sau khi hoán vị có thỏa mãn tính chất C-contiguous (hàng liên tục) hay không bằng cờ flags.c_contiguous.
  • Ghi nhận trạng thái was_c_contiguous_before_fix = bool(permuted.flags.c_contiguous).
  • Nếu mảng không liên tục: làm cho mảng trở thành liên tục bằng np.ascontiguousarray().
  • Nếu flatten_last_two=True: gộp 2 trục cuối cùng của mảng thành một trục duy nhất.
  • Trả về tuple gồm (final_array, was_c_contiguous_before_fix).

Input

  • Hàm safe_permute_and_flatten(x, permutation, flatten_last_two): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.

Output

  • Hàm safe_permute_and_flatten: Trả về kết quả kiểu tuple[np.ndarray, bool] theo đúng đặc tả kỹ thuật và kích thước quy định.

Ràng buộc

  • Thời gian chạy tối đa: 3000ms.
  • Giới hạn bộ nhớ: 512MB.
  • Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.

Ví dụ 1

Input

x = np.random.randn(2, 4, 8, 16)
out, was_contig = safe_permute_and_flatten(x, (0, 2, 1, 3), flatten_last_two=True)

Output

(Array shape: (2, 8, 64), dtype=float64, False)

Giải thích

Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.

Ví dụ 2

Input

x = np.random.randn(3, 5, 7)
out, was_contig = safe_permute_and_flatten(x, (0, 1, 2), flatten_last_two=False)

Output

(Array shape: (3, 5, 7), dtype=float64, True)

Giải thích

Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.

3 cấp độ gợi ýMở dần khi bạn thật sự cần hỗ trợ.
Phân tích lời giảiGiải thích hướng tư duy và thuật toán.
Code tham khảoDùng để đối chiếu sau khi tự làm.

Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.