Thực hiện một bước gộp cặp ký hiệu BPE (BPE Single Merge Step)
Sau khi đã tìm ra cặp ký hiệu có tần suất lớn nhất p = (p0, p1), bước tiếp theo của BPE là thay thế tất cả các lần xuất hiện liên tiếp của (p0, p1) trong mọ
Tiến độ của tôi ở bài này
Điểm và code bạn nộp được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: byte-pair-frequency-counter.
Nội dung đề bài
Mô tả bài toán
Sau khi đã tìm ra cặp ký hiệu có tần suất lớn nhất p = (p0, p1), bước tiếp theo của BPE là thay thế tất cả các lần xuất hiện liên tiếp của (p0, p1) trong mọi từ thành một ký hiệu mới p0 + p1.
Ví dụ: Cho cặp cần gộp: ('l', 'o') implies ký hiệu mới là 'lo'.
- Từ ('l', 'o', 'w', '</w>') trở thành ('lo', 'w', '</w>').
- Từ ('l', 'o', 'l', 'o', '</w>') trở thành ('lo', 'lo', '</w>').
Hãy viết hàm merge_symbol_pair(pair: tuple[str, str], corpus: dict[tuple[str, ...], int]) -> dict[tuple[str, ...], int]:
- pair: tuple gồm 2 chuỗi (p0, p1).
- corpus: dictionary ánh xạ từ tuple các ký hiệu sang tần suất.
- Trả về dictionary mới biểu diễn ngữ liệu sau khi đã gộp tất cả các cặp pair thành ký hiệu mới p0 + p1.
Input
- Hàm merge_symbol_pair(pair, corpus): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm merge_symbol_pair: Trả về kết quả kiểu dict[tuple[str, ...], int] theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
corpus = {('l', 'o', 'w', '</w>'): 5, ('l', 'o', 'w', 'e', 'r', '</w>'): 2}
merged = merge_symbol_pair(('l', 'o'), corpus)
Output
{
('lo', 'w', '</w>'): 5,
('lo', 'w', 'e', 'r', '</w>'): 2
}
Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
corpus = {('a', 'a', 'a'): 1}
merged = merge_symbol_pair(('a', 'a'), corpus)
Output
{
('aa', 'a'): 1
}
Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.
