ai-131Đọc toàn bộ đề miễn phí
Hệ Thống Metrics Monitoring Cho ML Model – Latency, Throughput, Error Rate
Production ML cần monitor 4 tín hiệu vàng: latency, throughput, error rate, saturation.
Tiến độ của tôi ở bài này
Điểm được lưu vào tài khoản sau khi chấm bài.
Đang tải điểm của bạn…
Kiến thức và chủ đề
Kiến thức tiên quyết: model-serving-api-schema-validation.
Nội dung đề bài
Mục tiêu kiến thức
Production ML cần monitor 4 tín hiệu vàng: latency, throughput, error rate, saturation.
Yêu cầu
class ModelMetricsCollector:
def __init__(self, window_size: int = 1000):
pass
def record_request(self, latency_ms: float, success: bool, tokens_generated: int = 0):
pass
def get_stats(self) -> dict:
# Returns: p50, p95, p99 latency, throughput (req/s), error_rate, total_requests
pass
def reset(self):
passInput
- Lớp
ModelMetricsCollector(window_size): Khởi tạo đối tượng với các tham số, trọng số hoặc cấu hình tương ứng.
Output
- Các phương thức của
ModelMetricsCollector: Trả về kết quả tính toán hoặc cập nhật trạng thái nội bộ của đối tượng.
Ràng buộc
- Thời gian chạy tối đa: 2000ms.
- Giới hạn bộ nhớ: 256MB.
- Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.
Ví dụ 1
Input
m = ModelMetricsCollector()
for ms in [10.0, 20.0, 30.0, 40.0, 50.0]:
m.record_request(ms, True)
stats = m.get_stats()Output
{
'p50_ms': 30,
'p95_ms': 48,
'p99_ms': 49.6,
'error_rate': 0,
'total_requests': 5,
'total_tokens': 0,
'window_size': 5
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
Ví dụ 2
Input
m = ModelMetricsCollector()
for _ in range(99):
m.record_request(10.0, True)
m.record_request(1000.0, True)
stats = m.get_stats()Output
{
'p50_ms': 10,
'p95_ms': 10,
'p99_ms': 19.9,
'error_rate': 0,
'total_requests': 100,
'total_tokens': 0,
'window_size': 100
}Giải thích
Hàm/lớp được gọi với các tham số mẫu trên và trả về kết quả số học / kích thước tensor tương ứng theo đúng thiết kế.
3 cấp độ gợi ýMở dần khi bạn thật sự cần hỗ trợ.
Phân tích lời giảiGiải thích hướng tư duy và thuật toán.
Code tham khảoDùng để đối chiếu sau khi tự làm.
Gợi ý và lời giải chỉ mở sau khi bạn bấm Nộp bài. Giáo viên và quản trị viên mở được ngay.
Góp ý & báo lỗi bài tập
Đề bài chưa rõ, test có vấn đề hay bạn có ý tưởng giúp bài tốt hơn? Gửi cho đội ngũ AI Empire nhé — mỗi góp ý đều được đọc.