Dynamic Batching Cho Inference – Tối Ưu Throughput Và Latency

Mục tiêu kiến thức

Dynamic batching gom nhiều request riêng lẻ thành một batch để tận dụng GPU parallelism.

Yêu cầu

class DynamicBatcher:
    def __init__(self, max_batch_size: int = 32, max_wait_ms: float = 10.0):
        pass
    def add_request(self, request_id: str, data: list) -> None:
        pass
    def get_batch(self) -> list[dict]:
        # Returns list of {request_id, data} ready to process
        # Returns empty if no pending requests
        pass
    def get_stats(self) -> dict:
        # Returns {'total_requests', 'total_batches', 'avg_batch_size'}
        pass

Ràng buộc

• Thời gian chạy tối đa: 3000ms.
• Giới hạn bộ nhớ: 256MB.
• Dữ liệu đầu vào hợp lệ theo đúng kiểu dữ liệu và miền giá trị được mô tả.