Mô hình Chủ đề LDA với Thuật toán Lấy mẫu Collapsed Gibbs

Mục tiêu kiến thức

• Hiểu mô hình sinh xác suất Latent Dirichlet Allocation (LDA) cho kho văn bản.
• Triển khai thuật toán Collapsed Gibbs Sampling loại trừ biến ẩn theta và phi:

P(z_i = k | z_-i, w, d) propto n_{d, k}^-i + alphaΣ_k' (n_{d, k'}^-i + alpha) × v_{k, wi}^-i + betaΣ_w' (v_{k, w'}^-i + beta) trong đó n_{d, k}^-i là số từ trong tài liệu d được gán cho chủ đề k (bỏ qua từ thứ i), và v_{k, wi}^-i là số lần từ w_i được gán cho chủ đề k trong toàn bộ kho tài liệu.

• Tính ma trận phân phối Chủ đề - Từ vựng phi_{k, v} = v_{k, v} + betaΣ_v' (v_{k, v'} + beta).

Mô tả bài toán

Cài đặt lớp LDATopicModelGibbs(n_topics=2, alpha=0.1, beta=0.1, n_iter=30, random_state=42):

• fit(self, corpus: list[list[str]]) -> self:
• corpus: danh sách các tài liệu, mỗi tài liệu là danh sách các token (từ).
• Kiểm tra: corpus không rỗng, mỗi tài liệu có ít nhất 1 từ. Nếu sai, raise ValueError.
• Xây dựng từ điển vocab ánh xạ từ thành chỉ số nguyên 0, …, V-1.
• Khởi tạo gán chủ đề ngẫu nhiên cho từng từ z_{d, n} ∈ [0, K-1].
• Chạy n_iter vòng lặp Collapsed Gibbs Sampling:
• Với mỗi tài liệu d, với mỗi vị trí từ n có từ w:
• Trừ đếm hiện tại: n_{d, z} -= 1, v_{z, w} -= 1.
• Tính xác suất có điều kiện cho từng chủ đề k ∈ [0, K-1].
• Chuẩn hóa xác suất và lấy mẫu chủ đề mới theo hàm phân phối ngẫu nhiên xác định.
• Cộng đếm chủ đề mới: n_{d, newz} += 1, v_{newz, w} += 1.
• Tính toán ma trận phi kích thước (K, V) đại diện cho phân phối từ vựng của mỗi chủ đề.
• get_topic_words(self, top_n: int = 3) -> list[list[str]]:
• Trả về danh sách gồm K phần tử, mỗi phần tử là danh sách top_n từ có xác suất cao nhất trong chủ đề tương ứng.

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào tuân thủ đúng kiểu dữ liệu và miền giá trị được mô tả.