Netflix hé lộ kiến trúc nền tảng LLM nội bộ: Sự kết hợp giữa Triton và vLLM trong sản xuất

Bài viết được dịch và tổng hợp từ tin tức gốc. Bạn có thể đọc bài viết gốc bằng tiếng Anh tại đây.

Điểm tin nhanh:

• Netflix tích hợp LLM vào nền tảng phục vụ hiện có, tận dụng JVM cho điều phối và Triton/vLLM cho inference trên GPU.
• Việc kết hợp Triton và vLLM giúp cân bằng giữa quản lý mô hình linh hoạt và hiệu năng suy luận tối ưu.
• Thách thức về tính tương thích phiên bản và tùy biến kiến trúc mô hình được giải quyết thông qua các extension point của vLLM.

Việc đưa các mô hình ngôn ngữ lớn (LLM) từ môi trường nghiên cứu vào thực tế sản xuất (production) chưa bao giờ là bài toán dễ dàng, đặc biệt là với quy mô khổng lồ như Netflix. Khi độ trễ và chi phí hạ tầng trở thành rào cản, các kỹ sư tại đây đã không chọn cách xây dựng lại từ đầu mà thay vào đó, họ đã khéo léo tinh chỉnh nền tảng hiện có để tích hợp sức mạnh của Triton và vLLM. Đây là một case study điển hình về việc tối ưu hóa hạ tầng AI trong doanh nghiệp mà bất kỳ kỹ sư nào đang quan tâm đến phát triển sản phẩm End-to-End với sự hỗ trợ của AI cũng nên tham khảo.

Kiến trúc nền tảng: Sự kết hợp giữa JVM và GPU

Netflix vẫn duy trì lớp phục vụ (serving layer) dựa trên JVM để xử lý các tác vụ như định tuyến (routing), truy xuất dữ liệu đặc trưng (feature retrieval), tạo ứng viên (candidate generation) và hậu xử lý. Đối với các mô hình nhỏ, hệ thống chạy trực tiếp trên CPU. Tuy nhiên, với các mô hình yêu cầu tài nguyên lớn, yêu cầu được chuyển hướng đến hệ thống MSS (Model Serving System).

Tại đây, Triton đóng vai trò là lớp điều phối trung tâm, chịu trách nhiệm tải mô hình, quản lý batching và lập lịch GPU. Việc này giúp đảm bảo luồng công việc sản xuất vẫn nhất quán ngay cả khi hạ tầng phần cứng thay đổi. Nếu bạn đang cân nhắc về việc xây dựng hệ thống Microservices với Python, hãy lưu ý cách Netflix tách biệt lớp điều phối và lớp thực thi để tăng tính linh hoạt.

Vai trò của vLLM và thách thức tích hợp

Trong khi Triton quản lý môi trường, vLLM được chọn để thực hiện suy luận (inference) nhờ khả năng mở rộng và hiệu năng vượt trội. Tuy nhiên, quá trình này không hoàn toàn suôn sẻ. Netflix đã gặp phải một số vấn đề về tính tương thích giữa các phiên bản.

Lưu ý: Việc đồng bộ phiên bản giữa Triton và vLLM là cực kỳ quan trọng. Mismatch phiên bản thường dẫn đến lỗi không thể tải mô hình, đòi hỏi quy trình kiểm thử nghiêm ngặt trước khi deploy.


Tùy biến và giải quyết bài toán Constrained Decoding

Một trong những thách thức lớn nhất mà Netflix đối mặt là constrained decoding (giải mã có ràng buộc). Để buộc mô hình trả về định dạng JSON hợp lệ, hệ thống cần lọc các token tại mỗi bước. Vì các quy tắc này phụ thuộc vào trạng thái của toàn bộ chuỗi đã tạo, decoder phải duy trì trạng thái xuyên suốt request. Khi vLLM tạm dừng một request, trạng thái này cần được quản lý chặt chẽ để đảm bảo tính toàn vẹn dữ liệu, tương tự như cách chúng ta xử lý bài toán quản lý bộ nhớ trong hệ thống phân tán.

Đánh giá & Lời khuyên Thực tiễn

Từ góc độ kỹ thuật, giải pháp của Netflix cho thấy sự trưởng thành trong tư duy thiết kế hệ thống.

• Ưu điểm: Tận dụng được hệ sinh thái hiện có, khả năng mở rộng tốt cho các mô hình lớn, tách biệt được logic điều phối và logic suy luận.
• Nhược điểm: Độ phức tạp cao trong việc quản lý sự phụ thuộc (dependency) giữa các engine. Đòi hỏi đội ngũ kỹ sư phải có chuyên môn sâu về cả hạ tầng lẫn tối ưu hóa mô hình.
• Lời khuyên: Nếu bạn đang xây dựng nền tảng tương tự, hãy ưu tiên sử dụng vLLM-backend thay vì Python-backend của Triton để tăng tính độc lập giữa mô hình và frontend. Đừng quên áp dụng các tiêu chuẩn về Data Access Contract để bảo vệ hệ thống khỏi sự thay đổi của các framework bên thứ ba.

Câu hỏi thường gặp (FAQ)

Tại sao Netflix không dùng một engine duy nhất?

Việc kết hợp Triton và vLLM cho phép tận dụng thế mạnh của cả hai: Triton mạnh về quản lý hạ tầng và lập lịch, trong khi vLLM tối ưu hóa hiệu năng suy luận cho các mô hình ngôn ngữ lớn.

Làm thế nào để xử lý các mô hình tùy chỉnh không hỗ trợ bởi vLLM?

Netflix sử dụng các extension point của vLLM để bổ sung kiến trúc mô hình và logic giải mã tùy chỉnh, thay vì phụ thuộc hoàn toàn vào các cấu hình mặc định của Hugging Face.

Giải pháp này có phù hợp với doanh nghiệp quy mô nhỏ?

Kiến trúc này khá phức tạp. Đối với doanh nghiệp nhỏ, việc sử dụng các dịch vụ Managed AI hoặc các giải pháp đơn giản hơn sẽ giúp tối ưu chi phí vận hành và thời gian triển khai.

Kết luận

Việc Netflix chi tiết hóa nền tảng LLM nội bộ là minh chứng cho thấy kỹ thuật phần mềm hiện đại đang chuyển dịch mạnh mẽ sang việc tối ưu hóa hạ tầng cho AI. Nếu bạn muốn tìm hiểu thêm về cách tối ưu hóa các quy trình tương tự, hãy tham khảo các bài viết về tối ưu hóa hiệu năng AWS Bedrock trên blog của chúng tôi. Đừng quên để lại bình luận nếu bạn có bất kỳ câu hỏi nào về việc triển khai LLM trong môi trường production!