Giảm Chiều Dữ liệu bằng Phân tích Thành phần Chính (PCA) từ Gốc
Trong các bài toán xử lý ảnh, gene di truyền hoặc vector embedding 1536 chiều, chiều dữ liệu quá lớn gây ra hiện tượng "Lời nguyền số chiều" (Curse of Dimensionality). PCA là phươn…
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: numpy-broadcasting-matrix-norm.
Nội dung đề bài
Mục tiêu kiến thức
- Hiểu bản chất của PCA: Tìm các hướng trực giao (Principal Components) lưu giữ phương sai lớn nhất của dữ liệu.
- Bước 1 bắt buộc: Chuẩn hóa tâm dữ liệu (Mean Centering) Xc = X - μ.
- Phân rã giá trị suy biến (SVD): Xc = U S VT. Ma trận VT chứa các vector riêng (eigenvectors) của ma trận hiệp phương sai.
- Chiếu dữ liệu sang không gian K chiều: Xproj = Xc · V[:K]T.
- Tính tỷ lệ phương sai được giải thích (Explained Variance Ratio): rk = Sk2∑ Si2.
Mô tả bài toán
Trong các bài toán xử lý ảnh, gene di truyền hoặc vector embedding 1536 chiều, chiều dữ liệu quá lớn gây ra hiện tượng "Lời nguyền số chiều" (Curse of Dimensionality). PCA là phương pháp giảm chiều tuyến tính tiêu chuẩn giúp tăng tốc độ huấn luyện mô hình.
Yêu cầu
Viết hàm fit_transform_pca(X: np.ndarray, n_components: int) -> dict[str, Any]:
- Kiểm tra 1 ≤ n_components ≤ min(N, D). Nếu không thỏa, ném ra ngoại lệ
ValueError. - Tính vector trung bình của các đặc trưng: μ = np.mean(X, axis=0).
- Khử trung bình: Xc = X - μ.
- Áp dụng SVD trên ma trận đã khử trung bình:
U, S, Vt = np.linalg.svd(X_c, full_matrices=False). - Lấy K thành phần chính đầu tiên: components = V[:K]T (shape (K, D)).
- Chiếu dữ liệu: Xproj = Xc · componentsT (shape (N, K)).
- Tính tỷ lệ phương sai được giải thích:
explained_variance_ratio = (S[:n_components] ** 2) / np.sum(S ** 2). - Trả về dictionary:
{"projected": np.ndarray, "components": np.ndarray, "mean": np.ndarray, "explained_variance_ratio": np.ndarray}.
import numpy as np
from typing import Any
def fit_transform_pca(X: np.ndarray, n_components: int) -> dict[str, Any]:
passInput
- Hàm
fit_transform_pca(X,n_components): Các tham số đầu vào chứa dữ liệu Tensor/mảng NumPy hoặc giá trị siêu tham số tương ứng.
Output
- Hàm
fit_transform_pca: Trả về kết quả kiểudict[str, Any]theo đúng đặc tả kỹ thuật và kích thước quy định.
Ràng buộc
- Thời gian chạy tối đa: 2000ms.
- Giới hạn bộ nhớ: 256MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
X = np.array([[-10.0, 0.1], [-5.0, -0.1], [0.0, 0.0], [5.0, 0.1], [10.0, -0.1]])
pca = fit_transform_pca(X, n_components=1)Output
{
'projected': [[-10.0003],
[ -4.9996],
[ 0. ],
[ 4.9996],
[ 10.0003]],
'components': [[ 1. , -0.004]],
'mean': [0., 0.],
'explained_variance_ratio': [0.9999]
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
X = np.random.randn(20, 5)
pca = fit_transform_pca(X, n_components=5)Output
{
'projected': [[-1.424 , 1.6066, -0.2196, -0.3013, -0.6074],
[ 2.9375, -0.8033, -2.1077, 0.7611, -0.2486],
[-0.526 , 0.9931, -0.6336, -0.8006, -0.8897],
[-0.7826, -1.0474, 0.3057, 0.0221, -0.0199],
[-2.7292, -2.3134, -0.2772, -0.4793, 0.2341],
[ 0.1001, -1.4835, 0.7021, -0.5969, -0.6658],
[ 1.6686, -0.9293, -0.7986, -0.064 , 0.534 ],
[-0.876 , -1.8872, -0.3817, 0.9385, 0.5814],
[-0.8381, 1.5069, 0.3427, 0.4477, 0.3673],
[ 0.3037, 0.4878, 0.4515, 1.5727, -0.8359],
[-0.9368, 2.8753, -0.8824, -0.3084, 0.6423],
[ 1.3478, 0.4414, 0.3908, -0.3758, -0.6119],
[ 1.1203, -0.8966, 3.2622, -0.1371, 0.5887],
[ 1.6551, 0.6173, 1.4656, -1.0341, 0.2369],
[-2.5848, -0.4901, -0.4755, 0.2811, -0.0931],
[-0.4051, -0.0675, 0.8165, -0.3054, -0.4894],
[ 0.8974, -0.9984, -2.1785, -1.1234, 0.4934],
[ 0.0594, 1.4751, 0.1545, 0.5005, 1.4554],
[ 0.1534, -0.012 , 0.4737, 0.9741, -0.3561],
[ 0.8592, 0.925 , -0.4106, 0.0284, -0.3157]],
'components': [[-0.4865, 0.4241, -0.3409, 0.0291, 0.683 ],
[-0.4713, 0.438 , 0.28 , 0.5173, -0.4899],
[-0.1055, -0.0225, -0.8627, -0.073 , -0.4887],
[-0.248 , -0.7156, -0.1091, 0.6161, 0.187 ],
[-0.6845, -0.3402, 0.222 , -0.5888, -0.1404]],
'mean': [-0.0913, 0.0338, 0.0602, 0.0761, 0.2457],
'explained_variance_ratio': [0.3337, 0.2926, 0.2294, 0.0817, 0.0625]
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.