Netflix tối ưu hóa Cassandra: Giảm độ trễ đọc từ giây xuống mili giây với kỹ thuật Dynamic Partition Splitting

Netflix tối ưu hóa Cassandra: Đột phá với Dynamic Partition Splitting

Trong kiến trúc dữ liệu quy mô lớn, việc quản lý các phân vùng (partition) trong Apache Cassandra luôn là một thách thức đối với các kỹ sư. Mới đây, đội ngũ kỹ thuật tại Netflix đã chia sẻ về cơ chế Dynamic Partition Splitting (Phân tách phân vùng động), một giải pháp giúp giảm độ trễ đọc (read latency) từ mức hàng giây xuống còn hàng chục mili giây, đồng thời cải thiện đáng kể hiệu suất CPU và giảm thiểu tình trạng hàng đợi luồng (thread queueing).

Thách thức: Khi các phân vùng trở nên "quá khổ"

Trong các hệ thống lưu trữ dữ liệu chuỗi thời gian (time-series) của Netflix, dữ liệu thường được nhóm theo định danh và khoảng thời gian. Tuy nhiên, các giả định ban đầu về kích thước phân vùng thường bị phá vỡ do:

• Thay đổi trong mô hình lưu lượng truy cập.
• Chính sách lưu trữ dữ liệu (retention policies) thay đổi.
• Sự tăng trưởng không đồng đều của dữ liệu.

Khi một phân vùng vượt quá kích thước tối ưu (thường là trên 500MB), Cassandra bắt đầu gặp các vấn đề như: tăng chi phí nén (compaction overhead), áp lực bộ nhớ (memory pressure) và phân bổ tải không đều, dẫn đến việc truy vấn bị timeout hoặc phản hồi chậm chạp.

Giải pháp: Cơ chế phân tách phân vùng tự động

Thay vì thực hiện các chiến lược tái phân vùng (repartitioning) thủ công tốn kém và gây gián đoạn dịch vụ, Netflix đã xây dựng một framework tiến hóa phân vùng tự động.

1. Kiến trúc Metadata Layer

Hệ thống giới thiệu một lớp metadata để theo dõi mối quan hệ giữa phân vùng cha (parent) và các phân vùng con (child).

• Cơ chế hoạt động: Khi ứng dụng thực hiện truy vấn, lớp metadata sẽ xác định phân vùng con nào chứa dữ liệu cần thiết và điều hướng truy vấn đến đó.
• Hợp nhất dữ liệu: Kết quả từ nhiều phân vùng con sẽ được hợp nhất trước khi trả về cho client, đảm bảo tính minh bạch hoàn toàn đối với ứng dụng.

2. Đảm bảo an toàn vận hành

Một trong những ưu tiên hàng đầu của Netflix là tính an toàn.

• Tính bất biến (Immutability): Trong giai đoạn đầu, các phân vùng gốc được giữ nguyên trong suốt quá trình di chuyển dữ liệu. Điều này đóng vai trò như một cơ chế dự phòng (fallback) nếu xảy ra lỗi trong quá trình phân tách.
• Kiểm chứng (Validation): Netflix sử dụng các pipeline kiểm chứng để so sánh kết quả giữa phân vùng gốc và phân vùng mới, đảm bảo tính nhất quán của dữ liệu trước khi chuyển đổi hoàn toàn lưu lượng truy cập.

Kết quả đạt được

Sau khi triển khai, hiệu suất của hệ thống đã có những cải thiện vượt bậc:

• Độ trễ đọc trung bình: Giảm từ mức hàng giây xuống còn vài chục mili giây.
• Độ trễ đuôi (Tail latency): Giảm từ vài giây xuống còn khoảng 200ms hoặc thấp hơn.
• Tài nguyên hệ thống: Giảm đáng kể mức sử dụng CPU, giảm số lượng read timeout và loại bỏ tình trạng tắc nghẽn luồng (thread queueing) trên các cụm Cassandra.

Định hướng tương lai

Đội ngũ kỹ sư Netflix cho biết họ đang hướng tới việc hỗ trợ các phân vùng rộng có thể thay đổi (mutable wide partitions) và xây dựng các cơ chế để tự động xử lý lại các phân vùng bị phân tách lỗi. Bài học lớn nhất từ dự án này là việc giảm thiểu phạm vi thay đổi kiến trúc và thực hiện kiểm chứng tăng dần (incremental validation) là chìa khóa để triển khai thành công các thay đổi phức tạp vào hệ thống sản xuất.

Bài viết dựa trên báo cáo kỹ thuật từ Leela Kumili tại InfoQ.