Thực hiện một bước gộp cặp ký hiệu BPE (BPE Single Merge Step)
Sau khi đã tìm ra cặp ký hiệu có tần suất lớn nhất p = (p0, p1), bước tiếp theo của BPE là thay thế tất cả các lần xuất hiện liên tiếp của (p0, p1) trong mọi từ thành một ký hi…
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: byte-pair-frequency-counter.
Nội dung đề bài
Mô tả bài toán
Sau khi đã tìm ra cặp ký hiệu có tần suất lớn nhất p = (p0, p1), bước tiếp theo của BPE là thay thế tất cả các lần xuất hiện liên tiếp của (p0, p1) trong mọi từ thành một ký hiệu mới p0 + p1.
Ví dụ: Cho cặp cần gộp: ('l', 'o') ⇒ ký hiệu mới là 'lo'.
- Từ
('l', 'o', 'w', '</w>')trở thành('lo', 'w', '</w>'). - Từ
('l', 'o', 'l', 'o', '</w>')trở thành('lo', 'lo', '</w>').
Hãy viết hàm merge_symbol_pair(pair: tuple[str, str], corpus: dict[tuple[str, ...], int]) -> dict[tuple[str, ...], int]:
pair: tuple gồm 2 chuỗi(p0, p1).corpus: dictionary ánh xạ từ tuple các ký hiệu sang tần suất.- Trả về dictionary mới biểu diễn ngữ liệu sau khi đã gộp tất cả các cặp
pairthành ký hiệu mớip0 + p1.
Input
- Hàm
merge_symbol_pair(pair,corpus): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
merge_symbol_pair: Trả về kết quả kiểudict[tuple[str, ...], int]theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
corpus = {('l', 'o', 'w', '</w>'): 5, ('l', 'o', 'w', 'e', 'r', '</w>'): 2}
merged = merge_symbol_pair(('l', 'o'), corpus)Output
{
('lo', 'w', '</w>'): 5,
('lo', 'w', 'e', 'r', '</w>'): 2
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
corpus = {('a', 'a', 'a'): 1}
merged = merge_symbol_pair(('a', 'a'), corpus)Output
{
('aa', 'a'): 1
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.
