ZML ra mắt công cụ miễn phí đột phá: Tối ưu hóa hiệu suất suy luận AI trên mọi loại chip

Trong bối cảnh sự thống trị của Nvidia trên thị trường chip AI vẫn còn rất lớn, một "làn gió mới" từ Pháp mang tên ZML vừa chính thức xuất hiện, mang theo lời giải cho bài toán tối ưu hóa chi phí và hiệu suất suy luận (inference) cho các mô hình AI. Được sự hậu thuẫn từ những tên tuổi lớn như Yann LeCun (người đoạt giải Turing), ZML vừa phát hành ZML/LLMD — một phần mềm suy luận giúp phá vỡ các rào cản phần cứng hiện nay.

ZML/LLMD là gì?

ZML/LLMD là một máy chủ suy luận (inference server) được thiết kế với mục tiêu tối thượng: cho phép các mô hình ngôn ngữ lớn (LLM) mã nguồn mở chạy trên nhiều loại chip khác nhau với tốc độ tối đa, thậm chí là nhanh hơn so với các thiết lập truyền thống.

Các kiến trúc phần cứng được hỗ trợ bao gồm:

• Nvidia GPUs
• AMD GPUs
• Google TPUs
• Apple Metal
• Intel Arc

Tại sao tối ưu hóa suy luận lại quan trọng?

Theo Steeve Morin, nhà sáng lập ZML, khi AI ngày càng tích hợp sâu vào công việc và đời sống, việc tối ưu hóa suy luận (quá trình xử lý các câu lệnh/prompt) đã trở nên quan trọng hơn cả việc huấn luyện mô hình. Hiện nay, các rào cản về phần mềm và kiến trúc đang tạo ra tình trạng "vendor lock-in" (phụ thuộc vào một nhà cung cấp), khiến doanh nghiệp gặp khó khăn trong việc linh hoạt lựa chọn phần cứng.

Giải quyết bài toán chi phí và năng lượng

ZML cung cấp cho các doanh nghiệp và nhà cung cấp dịch vụ đám mây khả năng sử dụng hỗn hợp các loại chip. Điều này cho phép họ tận dụng những dòng chip có chi phí thấp hơn hoặc tiêu thụ ít năng lượng hơn mà vẫn đảm bảo hiệu suất xử lý AI cao. Mục tiêu của ZML là "trả lại quyền năng cho người dùng trong việc tự xây dựng hệ thống của riêng mình".

Hỗ trợ các nhà sản xuất chip mới

Không chỉ dừng lại ở các ông lớn, ZML còn là "cánh tay nối dài" cho các nhà sản xuất chip AI mới nổi, đặc biệt là tại châu Âu. Morin đã liệt kê một loạt các cái tên tiềm năng như:

• Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud, và VSORA.

ZML đang tiến tới việc "đồng thiết kế silicon" (co-designing silicon), một bước tiến xa hơn so với các giải pháp phần mềm thông thường.

Cạnh tranh trong "Cơn sốt vàng suy luận"

Thị trường suy luận AI đang cực kỳ sôi động với sự góp mặt của nhiều đối thủ nặng ký:

• Baseten: Được định giá 13 tỷ USD.
• Inferact: Đến từ những người tạo ra dự án nguồn mở vLLM.
• RadixArk: Công ty thương mại đứng sau SGLang.

Tuy nhiên, ZML tự tin với đội ngũ tinh gọn gồm 20 nhân sự và khả năng di chuyển linh hoạt. Mặc dù vLLM và SGLang là những đối thủ cạnh tranh trực tiếp, nhưng tham vọng của ZML bao trùm một phổ rộng hơn nhiều.

Mô hình kinh doanh và chiến lược

Khác với khung làm việc (framework) ML tập trung vào suy luận được ZML phát hành năm 2024, ZML/LLMD không phải là mã nguồn mở.

Tuy nhiên, sản phẩm này hiện đang được cung cấp miễn phí với mục tiêu:

1. Thu thập dữ liệu sử dụng thực tế.
2. Đo lường hiệu quả.
3. Tìm kiếm các mô hình doanh thu tối ưu nhất mà không gây cản trở sự tăng trưởng của người dùng.

Tương lai của AI tại châu Âu

Sự thành công của ZML không chỉ nằm ở công nghệ mà còn ở sự tin tưởng từ cộng đồng. Danh sách các nhà đầu tư của ZML bao gồm những tên tuổi lớn như Solomon Hykes (Dagger, Docker), Clément Delangue và Julien Chaumond (Hugging Face), và Yann LeCun. Điều này chứng minh rằng các startup AI tại châu Âu hoàn toàn có thể xây dựng những sản phẩm đẳng cấp thế giới ngay tại "sân nhà" Paris.

"Tôi không thể làm ZML ở bất cứ nơi nào khác ngoài Paris," Morin khẳng định.

Bài viết được tổng hợp từ TechCrunch. ZML/LLMD hiện đã sẵn sàng để các doanh nghiệp trải nghiệm và tối ưu hóa hệ thống AI của họ.