Đếm tần suất các cặp ký hiệu liền kề trong BPE (Adjacent Symbol Pair Counting)
Trong thuật toán Byte Pair Encoding (Sennrich et al., 2016), ngữ liệu huấn luyện được biểu diễn dưới dạng một từ điển tần suất các từ, trong đó mỗi từ là một tuple các ký hiệu ban…
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: character-level-tokenizer-vocab.
Nội dung đề bài
Mô tả bài toán
Trong thuật toán Byte Pair Encoding (Sennrich et al., 2016), ngữ liệu huấn luyện được biểu diễn dưới dạng một từ điển tần suất các từ, trong đó mỗi từ là một tuple các ký hiệu ban đầu (thường là các ký tự riêng lẻ cộng thêm ký tự kết thúc </w>):
Ví dụ: {('l', 'o', 'w', '</w>'): 5, ('l', 'o', 'w', 'e', 'r', '</w>'): 2}
Bước nền tảng đầu tiên là đếm tổng số lần xuất hiện của từng cặp ký hiệu liên tiếp (si, si+1) trên toàn bộ ngữ liệu:
- Trong từ
('l', 'o', 'w', '</w>')xuất hiện 5 lần: - Cặp
('l', 'o'): đóng góp +5. - Cặp
('o', 'w'): đóng góp +5. - Cặp
('w', '</w>'): đóng góp +5. - Trong từ
('l', 'o', 'w', 'e', 'r', '</w>')xuất hiện 2 lần: - Cặp
('l', 'o'): đóng góp +2 (tổng là 5 + 2 = 7).
Hãy viết hàm count_symbol_pairs(corpus: dict[tuple[str, ...], int]) -> dict[tuple[str, str], int]:
corpus: dictionary ánh xạ từ tuple các ký hiệu sang tần suất xuất hiện (số nguyên dương).- Nếu
corpusrỗng, trả về dictionary rỗng{}. - Bỏ qua các từ chỉ có độ dài < 2 (không tạo được cặp nào).
- Trả về dictionary ánh xạ từ cặp
(str, str)sang tổng tần suất xuất hiện.
Input
- Hàm
count_symbol_pairs(corpus): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
count_symbol_pairs: Trả về kết quả kiểudict[tuple[str, str], int]theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
corpus = {('l', 'o', 'w', '</w>'): 5, ('l', 'o', 'w', 'e', 'r', '</w>'): 2}
pairs = count_symbol_pairs(corpus)Output
{
('l', 'o'): 7,
('o', 'w'): 7,
('w', '</w>'): 5,
('w', 'e'): 2,
('e', 'r'): 2,
('r', '</w>'): 2
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
corpus = {('a',): 10, ('b',): 5}Output
{
('a',): 10,
('b',): 5
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.