Fleet: Bước đột phá trong kiến trúc Megakernel trên GPU đa chiplet

Bài viết được dịch và tổng hợp từ tin tức gốc. Bạn có thể đọc bài viết gốc bằng tiếng Anh tại đây.

Điểm tin nhanh:

• Fleet giới thiệu mô hình tác vụ phân cấp (Chiplet-tasks) giúp tối ưu hóa sự phối hợp giữa các chiplet trên GPU hiện đại.
• Công nghệ này giải quyết triệt để sự lãng phí băng thông bộ nhớ trong các tác vụ suy luận LLM như Qwen3-8B.
• Kết quả thực nghiệm trên AMD Instinct MI350 cho thấy hiệu năng cải thiện từ 1.27 đến 1.5 lần so với các phương pháp truyền thống.

Sự bùng nổ của các mô hình ngôn ngữ lớn (LLM) đã đẩy giới hạn phần cứng lên mức cao nhất, nơi mà các GPU đa chiplet trở thành tiêu chuẩn mới. Tuy nhiên, các mô hình lập trình hiện tại như CUDA hay HIP vẫn đang bị mắc kẹt trong tư duy thực thi phẳng, khiến việc khai thác tối đa tiềm năng của các hệ thống đa chiplet trở thành một bài toán nan giải. Fleet xuất hiện như một lời giải chuyên sâu, thay đổi hoàn toàn cách chúng ta tiếp cận với các Megakernel.

Hạn chế của mô hình lập trình truyền thống trên GPU đa chiplet

Các kiến trúc GPU hiện đại sử dụng thiết kế chiplet với hệ thống cache riêng biệt cho từng die. Vấn đề cốt lõi là các mô hình lập trình cũ không thể nhận diện được tính cục bộ (locality) của chiplet, dẫn đến việc dữ liệu phải di chuyển liên tục qua các kết nối nội bộ, gây nghẽn băng thông HBM. Điều này tương tự như cách các hệ thống phân tán gặp lỗi khi quản lý tài nguyên không đồng bộ, giống như những thách thức trong việc xây dựng hệ thống theo dõi bong bóng chứng khoán AI với chi phí thấp và kiến trúc Zero-Backend.

Fleet: Giải pháp phân cấp tác vụ (Hierarchical Task-based Abstraction)

Fleet giới thiệu một cách tiếp cận mới thông qua Chiplet-tasks. Thay vì để GPU tự xử lý một cách mù quáng, Fleet gắn kết công việc và dữ liệu vào từng chiplet cụ thể, cho phép phối hợp thông qua bộ nhớ đệm L2 dùng chung. Việc này giúp giảm thiểu đáng kể các truy cập vào bộ nhớ HBM, vốn là nút thắt cổ chai lớn nhất trong suy luận AI.

Cấu trúc phân cấp của Fleet

Fleet phân chia công việc thành các cấp độ thực thi:

• Wavefront-level: Tác vụ cơ bản nhất.
• CU-level: Tác vụ ở cấp độ Compute Unit.
• Chiplet-tasks: Tác vụ gắn liền với chiplet, cho phép phối hợp cache L2.
• Device-level: Tác vụ tổng thể trên toàn bộ GPU.

Việc quản lý tài nguyên thông minh này gợi nhớ đến cách tối ưu hóa quy trình chuyển đổi AI Model mà không cần viết lại mã nguồn OpenAI SDK, nơi sự tinh chỉnh ở mức độ hệ thống mang lại hiệu quả vượt trội.

Hiệu năng thực tế trên AMD Instinct MI350

Kết quả thử nghiệm với mô hình Qwen3-8B cho thấy sự cải thiện rõ rệt về độ trễ và hiệu suất sử dụng cache. Dưới đây là bảng so sánh hiệu năng giữa Fleet và phương pháp Megakernel truyền thống:

Mẹo hay: Khi triển khai các hệ thống AI quy mô lớn, việc tối ưu hóa cache L2 là chìa khóa để giảm thiểu chi phí vận hành, tương tự như cách các kỹ sư tối ưu hóa quy trình kiểm thử tự động với bộ công cụ Playwright tùy chỉnh cho Coding Agent.

Đánh giá & Lời khuyên Thực tiễn

Ưu điểm

• Tận dụng tối đa kiến trúc chiplet hiện đại.
• Giảm thiểu đáng kể lưu lượng truy cập HBM, trực tiếp tăng tốc độ suy luận.
• Khả năng phối hợp cache L2 giúp tăng tỷ lệ hit rate lên gấp nhiều lần.

Nhược điểm

• Yêu cầu thay đổi mô hình lập trình hiện tại, không tương thích ngược hoàn toàn với các kernel cũ.
• Độ phức tạp trong việc lập lịch (scheduling) per-chiplet cao hơn so với lập trình phẳng.

Lưu ý triển khai

Khi áp dụng Fleet vào môi trường Production, cần đảm bảo hạ tầng phần cứng hỗ trợ tốt các tập lệnh của AMD ROCm, tương tự như các yêu cầu khi làm việc với AMD ROCm 7.14 chính thức ra mắt: Bước tiến quan trọng cho hệ sinh thái AI và hỗ trợ Ryzen AI 400 Series. Luôn kiểm tra tính ổn định của kernel runtime trước khi đưa vào hệ thống phục vụ người dùng cuối.

Câu hỏi thường gặp (FAQ)

Fleet có hỗ trợ các kiến trúc GPU không phải của AMD không?

Hiện tại Fleet tập trung vào tối ưu hóa cho kiến trúc đa chiplet, chủ yếu là các dòng GPU AMD Instinct. Việc mở rộng sang các kiến trúc khác phụ thuộc vào sự hỗ trợ của phần cứng và runtime.

Sự khác biệt chính giữa Fleet và các Megakernel truyền thống là gì?

Fleet giới thiệu khái niệm Chiplet-tasks, cho phép kiểm soát dữ liệu và công việc ở cấp độ chiplet, trong khi Megakernel truyền thống coi GPU là một khối thống nhất, dẫn đến lãng phí tài nguyên cache.

Fleet có ảnh hưởng đến độ chính xác của mô hình AI không?

Không. Fleet chỉ là mô hình lập trình tối ưu hóa việc thực thi và quản lý bộ nhớ, không làm thay đổi các trọng số hay logic tính toán của mô hình AI.

Kết luận

Fleet đánh dấu một bước tiến quan trọng trong việc lập trình GPU đa chiplet, mở ra cánh cửa cho hiệu năng suy luận LLM vượt trội. Việc hiểu và áp dụng các mô hình như Fleet sẽ giúp các kỹ sư hệ thống làm chủ được hạ tầng công nghệ trong kỷ nguyên AI. Hãy tiếp tục theo dõi hi_dev để cập nhật những xu hướng công nghệ mới nhất và đừng quên chia sẻ trải nghiệm của bạn nếu đã từng thử nghiệm các giải pháp tối ưu hóa phần cứng tương tự.