Xây dựng Tokenizer cấp từ với ngưỡng tần suất tối thiểu (Frequency Thresholding)
Tokenizer cấp từ (Word-Level Tokenizer) phân tách văn bản thành các từ hoàn chỉnh. Tuy nhiên, nếu đưa mọi từ vào từ điển, kích thước từ điển sẽ bùng nổ và chứa nhiều từ gõ sai hoặc…
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: character-level-tokenizer-vocab.
Nội dung đề bài
Mô tả bài toán
Tokenizer cấp từ (Word-Level Tokenizer) phân tách văn bản thành các từ hoàn chỉnh. Tuy nhiên, nếu đưa mọi từ vào từ điển, kích thước từ điển sẽ bùng nổ và chứa nhiều từ gõ sai hoặc quá hiếm. Kỹ thuật Frequency Thresholding lọc bỏ tất cả các từ có số lần xuất hiện nhỏ hơn min_freq.
Quy định cấu trúc từ điển:
- Special Tokens cố định:
<pad>: ID 0<unk>: ID 1<bos>: ID 2 (Beginning of Sequence)<eos>: ID 3 (End of Sequence)- Tách từ: Chuyển văn bản thành chữ thường (
lower()), tách từ theo biểu thức chính quyre.findall(r"\w+|[^\w\s]", text). - Thu nạp từ: Các từ có tần suất ≥ min_freq được sắp xếp theo:
- Tần suất giảm dần.
- Nếu tần suất bằng nhau, sắp xếp theo thứ tự chữ cái tăng dần.
- Gán ID tuần tự bắt đầu từ 4.
Hãy cài đặt lớp WordFrequencyTokenizer:
__init__(self, min_freq: int = 2)fit(self, texts: list[str]) -> Noneencode(self, text: str, add_special_tokens: bool = False) -> list[int]:- Nếu
add_special_tokens=True, thêm<bos>ở đầu và<eos>ở cuối. decode(self, token_ids: list[int], skip_special_tokens: bool = True) -> str:- Ghép các từ lại cách nhau bởi dấu cách.
Input
- Lớp
WordFrequencyTokenizer(min_freq): Khởi tạo đối tượng với các tham số, trọng số hoặc cấu hình tương ứng.
Output
- Các phương thức của
WordFrequencyTokenizer: Trả về kết quả tính toán hoặc cập nhật trạng thái nội bộ của đối tượng.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
corpus = ['the cat sat on the mat', 'the dog sat on the rug']
tok = WordFrequencyTokenizer(min_freq=2)
tok.fit(corpus)
tokens = tok.encode('the cat')Output
[4, 1]Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
tok = WordFrequencyTokenizer(min_freq=1)
tok.fit(['hello world'])
tokens = tok.encode('hello', add_special_tokens=True)Output
[2, 4, 3]Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.