Throughput (Thông lượng)

Khối lượng công việc hệ thống xử lý được trong một khoảng thời gian - bao nhiêu dữ liệu/yêu cầu được xử lý thành công mỗi giây. Nôm na là “sức tải” của hệ thống.

Ví dụ trạm thu phí cao tốc: Latency là thời gian một xe qua trạm, còn throughput là số xe qua trạm mỗi phút. Server xử lý 1000 req/s có throughput cao hơn server 100 req/s.

Quan hệ với Latency

Không phải lúc nào cũng tỷ lệ thuận: một hệ thống có thể phản hồi nhanh cho mỗi request (latency thấp) nhưng chỉ phục vụ được ít người cùng lúc (throughput thấp). Khi quá tải, throughput cao nhưng mỗi request lại chậm (latency cao). Thiết kế tốt cân bằng cả hai.

Tăng throughput thường nhờ mở rộng ngang + Load Balancer.

Liên quan

• Latency - chỉ số đo song hành
• Scalability - thêm server để tăng throughput
• Load Balancer - phân phối tải giữa nhiều server