Hệ Thống Metrics Monitoring Cho ML Model – Latency, Throughput, Error Rate
Production ML cần monitor 4 tín hiệu vàng: latency, throughput, error rate, saturation.
Tiến độ của tôi ở bài này
Điểm và code bạn nộp được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: model-serving-api-schema-validation.
Nội dung đề bài
Mục tiêu kiến thức
Production ML cần monitor 4 tín hiệu vàng: latency, throughput, error rate, saturation.
Yêu cầu
class ModelMetricsCollector:
def __init__(self, window_size: int = 1000):
pass
def record_request(self, latency_ms: float, success: bool, tokens_generated: int = 0):
pass
def get_stats(self) -> dict:
# Returns: p50, p95, p99 latency, throughput (req/s), error_rate, total_requests
pass
def reset(self):
passInput
- Lớp ModelMetricsCollector(window_size): Khởi tạo đối tượng với các tham số, trọng số hoặc cấu hình tương ứng.
Output
- Các phương thức của ModelMetricsCollector: Trả về kết quả tính toán hoặc cập nhật trạng thái nội bộ của đối tượng.
Ràng buộc
- Thời gian chạy tối đa: 2000ms.
- Giới hạn bộ nhớ: 256MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
m = ModelMetricsCollector()
for ms in [10.0, 20.0, 30.0, 40.0, 50.0]:
m.record_request(ms, True)
stats = m.get_stats()
Output
{
'p50_ms': 30,
'p95_ms': 48,
'p99_ms': 49.6,
'error_rate': 0,
'total_requests': 5,
'total_tokens': 0,
'window_size': 5
}
Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
m = ModelMetricsCollector()
for _ in range(99):
m.record_request(10.0, True)
m.record_request(1000.0, True)
stats = m.get_stats()
Output
{
'p50_ms': 10,
'p95_ms': 10,
'p99_ms': 19.9,
'error_rate': 0,
'total_requests': 100,
'total_tokens': 0,
'window_size': 100
}
Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.
