ai-452Đọc toàn bộ đề miễn phí

Mask nhân quả có cho phép vị trí này không

Trong attention tự hồi quy, mỗi token chỉ được nhìn về quá khứ. Người ta thực hiện điều

AICơ bản10 phút

Tiến độ của tôi ở bài này

Điểm và code bạn nộp được lưu vào tài khoản sau khi chấm bài.

Đang tải điểm của bạn…

Kiến thức và chủ đề

transformerattentioncausal-maskentry-ramp

Kiến thức tiên quyết: python-basics, attention-basics.

Nội dung đề bài

Mô tả bài toán

Trong attention tự hồi quy, mỗi token chỉ được nhìn về quá khứ. Người ta thực hiện điều này bằng mask nhân quả: vị trí truy vấn i chỉ được phép "thấy" khoá j khi j không vượt quá i. Khi đó ma trận điểm số được đặt về -inf ở các ô bị chặn trước khi lấy softmax.

Yêu cầu

Viết hàm causal_mask_allows(query_index, key_index) trả về True nếu khoá được phép và False nếu bị chặn.

Quy ước nộp bài

Nộp hàm causal_mask_allows trong solution.py. Hệ thống gọi hàm trực tiếp và so giá trị; không đọc stdin và không in ra stdout.

Input

  • query_index: vị trí truy vấn i.
  • key_index: vị trí khoá j.

Output

True khi key_index <= query_index, ngược lại False.

Ràng buộc

  • Cả hai chỉ số phải không âm; nếu âm thì ném ValueError.
  • Trả về đúng kiểu bool, không trả số.

Ví dụ 1

Input

causal_mask_allows(query_index=2, key_index=1)

Output

true

Ví dụ 2

Input

causal_mask_allows(query_index=1, key_index=2)

Output

false

Giải thích

causal_mask_allows(2, 1) trả về True vì khoá đứng trước truy vấn. Ngược lại causal_mask_allows(1, 2) trả về False vì sẽ là nhìn vào tương lai.

3 cấp độ gợi ýMở dần khi bạn thật sự cần hỗ trợ.
Phân tích lời giảiGiải thích hướng tư duy và thuật toán.
Code tham khảoDùng để đối chiếu sau khi tự làm.

Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.

Nhóm Zalo