Xử lý từ vựng ngoài từ điển (OOV Handling & UNK Statistics)
Tỷ lệ từ vựng ngoài từ điển (OOV Rate) là một chỉ số quan trọng phản ánh độ hoàn thiện của bộ tokenizer trên tập dữ liệu mục tiêu:
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: word-level-frequency-threshold-tokenizer.
Nội dung đề bài
Mô tả bài toán
Tỷ lệ từ vựng ngoài từ điển (OOV Rate) là một chỉ số quan trọng phản ánh độ hoàn thiện của bộ tokenizer trên tập dữ liệu mục tiêu:
OOV Rate = Tổng số lượt xuất hiện của các từ không có trong từ điểnTổng số từ trong văn bản
Hãy viết hàm analyze_oov_statistics(vocab: dict[str, int] | set[str], corpus: list[str]) -> dict[str, float]:
vocab: tập hợp hoặc dictionary các từ vựng đã biết.corpus: danh sách các chuỗi văn bản cần phân tích.- Tách từ bằng chữ thường và biểu thức chính quy:
re.findall(r"\w+|[^\w\s]", text.lower()). - Nếu tổng số từ trong corpus bằng 0, trả về:
{"total_tokens": 0.0, "oov_tokens": 0.0, "oov_rate": 0.0, "unique_oov_count": 0.0}.
- Trả về dictionary gồm 4 thông số float:
total_tokens: tổng số token.oov_tokens: số token bị OOV.oov_rate: tỷ lệ OOV trong khoảng [0.0, 1.0].unique_oov_count: số lượng từ phân biệt bị OOV.
Input
- Hàm
analyze_oov_statistics(vocab,corpus): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
analyze_oov_statistics: Trả về kết quả kiểudict[str, float]theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 6000ms.
- Giới hạn bộ nhớ: 512MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
vocab = {'hello', 'world', '!'}
corpus = ['Hello alien !', 'World alien alien']
stats = analyze_oov_statistics(vocab, corpus)Output
{
'total_tokens': 6,
'oov_tokens': 3,
'oov_rate': 0.5,
'unique_oov_count': 1
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
stats = analyze_oov_statistics({'a', 'b'}, [])Output
{
'total_tokens': 0,
'oov_tokens': 0,
'oov_rate': 0,
'unique_oov_count': 0
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.