Phân tích tần suất từ và Trích xuất Top-K từ khóa

Mục tiêu kiến thức

• Tiền xử lý văn bản cơ bản: tách từ, loại bỏ dấu câu, chuẩn hóa chữ thường.
• Lọc bỏ các từ dừng (stop words).
• Thống kê tần suất xuất hiện và trích xuất top K phần tử có tần suất cao nhất kèm cơ chế hòa điểm (tie-breaking).

Mô tả bài toán

Viết hàm extract_top_k_words(text: str, k: int, stop_words: set[str] | None = None) -> list[tuple[str, int]]:

• Xử lý văn bản:
• Chuyển toàn bộ văn bản về chữ thường.
• Loại bỏ các dấu câu: .,!?;:()[]{}"'- (thay bằng khoảng trắng).
• Tách thành các từ theo khoảng trắng.
• Lọc từ:
• Nếu stop_words được cung cấp, loại bỏ tất cả các từ xuất hiện trong tập stop_words (tập stop words cũng được so sánh không phân biệt hoa thường).
• Bỏ qua các từ rỗng.
• Đếm tần suất và trả về top K:
• Nếu k ≤ 0, trả về [].
• Sắp xếp kết quả theo 2 tiêu chí:
• Tần suất xuất hiện: Giảm dần.
• Từ vựng: Tăng dần theo thứ tự từ điển (alphabetical) nếu tần suất bằng nhau.
• Trả về danh sách tối đa K bộ (từ, tần_suất).

Ràng buộc

• Thời gian chạy tối đa: 1000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào tuân thủ đúng kiểu dữ liệu và miền giá trị được mô tả.