ai-226Đọc toàn bộ đề miễn phí

Thực hiện một bước gộp cặp ký hiệu BPE (BPE Single Merge Step)

Sau khi đã tìm ra cặp ký hiệu có tần suất lớn nhất p = (p0, p1), bước tiếp theo của BPE là thay thế tất cả các lần xuất hiện liên tiếp của (p0, p1) trong mọi từ thành một ký hi…

AITrung bình30 phút

Tiến độ của tôi ở bài này

Điểm được lưu vào tài khoản sau khi chấm bài.

Đang tải điểm của bạn…

Kiến thức và chủ đề

bpesymbol-mergestring-manipulationtokenization

Kiến thức tiên quyết: byte-pair-frequency-counter.

Nội dung đề bài

Mô tả bài toán

Sau khi đã tìm ra cặp ký hiệu có tần suất lớn nhất p = (p0, p1), bước tiếp theo của BPE là thay thế tất cả các lần xuất hiện liên tiếp của (p0, p1) trong mọi từ thành một ký hiệu mới p0 + p1.

Ví dụ: Cho cặp cần gộp: ('l', 'o') ⇒ ký hiệu mới là 'lo'.

  • Từ ('l', 'o', 'w', '</w>') trở thành ('lo', 'w', '</w>').
  • Từ ('l', 'o', 'l', 'o', '</w>') trở thành ('lo', 'lo', '</w>').

Hãy viết hàm merge_symbol_pair(pair: tuple[str, str], corpus: dict[tuple[str, ...], int]) -> dict[tuple[str, ...], int]:

  • pair: tuple gồm 2 chuỗi (p0, p1).
  • corpus: dictionary ánh xạ từ tuple các ký hiệu sang tần suất.
  • Trả về dictionary mới biểu diễn ngữ liệu sau khi đã gộp tất cả các cặp pair thành ký hiệu mới p0 + p1.

Input

  • Hàm merge_symbol_pair(pair, corpus): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.

Output

  • Hàm merge_symbol_pair: Trả về kết quả kiểu dict[tuple[str, ...], int] theo đúng đặc tả kỹ thuật và kích thước quy định.

Ràng buộc

  • Thời gian chạy tối đa: 6000ms.
  • Giới hạn bộ nhớ: 512MB.
  • Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.

Ví dụ 1

Input

corpus = {('l', 'o', 'w', '</w>'): 5, ('l', 'o', 'w', 'e', 'r', '</w>'): 2}
merged = merge_symbol_pair(('l', 'o'), corpus)

Output

{
  ('lo', 'w', '</w>'): 5,
  ('lo', 'w', 'e', 'r', '</w>'): 2
}

Giải thích

Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.

Ví dụ 2

Input

corpus = {('a', 'a', 'a'): 1}
merged = merge_symbol_pair(('a', 'a'), corpus)

Output

{
  ('aa', 'a'): 1
}

Giải thích

Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.

3 cấp độ gợi ýMở dần khi bạn thật sự cần hỗ trợ.
Phân tích lời giảiGiải thích hướng tư duy và thuật toán.
Code tham khảoDùng để đối chiếu sau khi tự làm.

Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.