A/B Testing – Kiểm Định Thống Kê Cho Thử Nghiệm Mô Hình ML

Mục tiêu kiến thức

Two-Proportion Z-Test kiểm định model A vs model B có khác nhau thực sự không: z = p_A - p_B√(p(1-p)(1n_A + 1n_B)) p = n_A p_A + n_B p_Bn_A + n_B (pooled proportion)

Minimum Sample Size để đạt power 1-β tại mức ý nghĩa α: n ≈ (z_α/2 + z_β)² · 2p(1-p)δ²

Yêu cầu

def two_proportion_ztest(
    successes_a: int, n_a: int,
    successes_b: int, n_b: int,
    alpha: float = 0.05
) -> tuple[float, float, bool]:
    # Returns (z_statistic, p_value, is_significant)
    pass

def minimum_sample_size(
    baseline_rate: float,
    min_detectable_effect: float,
    alpha: float = 0.05,
    power: float = 0.80
) -> int:
    pass

Ràng buộc

• Thời gian chạy tối đa: 2000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.