Khi AI Agents vận hành ở tốc độ mili giây: Giải mã bài toán hạ tầng tại LinkedIn, Walmart và Zendesk

Bài viết được dịch và tổng hợp từ tin tức gốc. Bạn có thể đọc bài viết gốc bằng tiếng Anh tại đây.

Điểm tin nhanh:

• Hạ tầng doanh nghiệp truyền thống được thiết kế cho con người, không phải cho tốc độ phản hồi mili giây của AI Agents.
• LinkedIn, Walmart và Zendesk đã phải tái cấu trúc hạ tầng, từ Kubernetes đến pipeline dữ liệu, để loại bỏ các nút thắt cổ chai khi đưa AI vào production.
• Chiến lược chung: Ưu tiên sự độc lập về mô hình, đầu tư mạnh vào hệ thống đánh giá (evals) và kiểm soát luồng xử lý thay vì phụ thuộc hoàn toàn vào LLM.

Trong kỷ nguyên mà các AI Agents có thể tư duy và đưa ra quyết định trong tích tắc, hạ tầng công nghệ cũ kỹ đang trở thành "tử huyệt" khiến hiệu suất bị kéo lùi. Tại sự kiện VB Transform 2026, các chuyên gia từ LinkedIn, Walmart và Zendesk đã chia sẻ một sự thật trần trụi: vấn đề không nằm ở các mô hình ngôn ngữ lớn (LLM), mà nằm ở cách chúng ta xây dựng nền tảng để vận hành chúng. Nếu bạn đang loay hoay với việc tối ưu hóa quy trình tự động hóa, có lẽ đã đến lúc nhìn lại cách xây dựng Bounded Async Polling Workflow với Seedance và n8n để cải thiện luồng dữ liệu.

Khi hạ tầng cũ không theo kịp tốc độ của AI

Sự khác biệt giữa cách con người làm việc và cách AI Agents vận hành tạo ra một khoảng cách lớn về tốc độ. Tại LinkedIn, nút thắt đầu tiên không phải là mô hình, mà là Kubernetes. Việc khởi tạo container theo yêu cầu mất hàng giây, quá chậm so với nhu cầu của các tác nhân AI. Giải pháp của họ là chuyển từ cung cấp tài nguyên theo yêu cầu sang các nhóm container được chuẩn bị sẵn (pre-provisioned pools) để hoán đổi khối lượng công việc trong thời gian thực.

Tại Walmart, thách thức lại đến từ sự thành công. Khi các nhân viên bắt đầu tự tạo ra các "citizen developers" agents, hệ thống nhanh chóng rơi vào tình trạng trùng lặp và thiếu quản trị. Họ đã phải xây dựng các cơ chế quản trị để phát hiện sự trùng lặp và thúc đẩy các agent tốt nhất vào sản xuất mà không làm nghẽn quy trình kỹ thuật. Điều này cũng tương tự như bài học về tư duy kỹ thuật khi hệ thống kiểm duyệt vận hành hoàn hảo nhưng thiếu người dùng.

Bảng so sánh các thách thức hạ tầng AI

Vai trò của sự độc lập và kiến trúc mở

Một điểm chung của cả ba doanh nghiệp là họ đều hướng tới việc sở hữu hạ tầng và giảm thiểu sự phụ thuộc vào các nhà cung cấp mô hình. LinkedIn đã xây dựng một AI gateway để chuẩn hóa mọi lệnh gọi API, bất kể mô hình nào được sử dụng. Điều này giúp họ linh hoạt chuyển đổi giữa các nhà cung cấp mà không cần thay đổi code base. Việc xây dựng các hệ thống độc lập này là bước đi sống còn, tương tự như cách các lập trình viên đang tự làm chủ hệ sinh thái công cụ của chính mình.

Mẹo hay: Hãy luôn ưu tiên xây dựng hệ thống đánh giá (evals) trước khi triển khai bất kỳ quy trình tự động hóa nào. Evals giúp bạn chia nhỏ bài toán và kiểm soát chất lượng đầu ra của các tác nhân AI một cách chính xác nhất.

Đánh giá & Lời khuyên Thực tiễn

Từ góc nhìn của một kỹ sư, việc đưa AI Agents vào sản xuất không chỉ là gọi API. Bạn cần một kiến trúc vững chắc:

• Ưu điểm: Tăng tốc độ phản hồi, giảm thiểu sự phụ thuộc vào nhà cung cấp, tối ưu hóa chi phí vận hành.
• Nhược điểm: Đòi hỏi đầu tư lớn vào hạ tầng dữ liệu và kỹ năng quản trị hệ thống phức tạp.
• Lưu ý: Đừng để LLM làm tất cả mọi việc. Hãy áp dụng tư duy deterministic code cho 80% luồng công việc và chỉ sử dụng LLM cho các bước đòi hỏi khả năng suy luận. Nếu bạn đang xây dựng các hệ thống phức tạp, hãy tham khảo thêm về kiến trúc nền tảng và những viên gạch xây dựng thế giới Web hiện đại.

Câu hỏi thường gặp (FAQ)

Tại sao Kubernetes lại là nút thắt khi chạy AI Agents?

Kubernetes mặc định khởi tạo container theo yêu cầu (on-demand), quá trình này mất thời gian để kéo image và khởi động. Với các tác nhân AI cần phản hồi trong mili giây, độ trễ này là không thể chấp nhận được.

Làm thế nào để quản lý hàng chục AI Agents trong doanh nghiệp?

Cần xây dựng một AI Gateway để quản trị, giám sát và chuẩn hóa các lệnh gọi API. Đồng thời, cần có chính sách governance để tránh việc các phòng ban tạo ra các agent trùng lặp công năng.

Có nên tự xây dựng hạ tầng AI hay sử dụng dịch vụ có sẵn?

Nếu bạn cần sự linh hoạt và kiểm soát dữ liệu, việc sở hữu hạ tầng (như gateway và memory subsystem) là cần thiết. Tuy nhiên, hãy tận dụng các mô hình từ các phòng thí nghiệm lớn cho các tác vụ suy luận phức tạp.

Kết luận

Việc thu hẹp khoảng cách giữa tốc độ tư duy của AI và hạ tầng doanh nghiệp là thử thách lớn nhất của năm 2026. Bằng cách tập trung vào hạ tầng độc lập, quản trị chặt chẽ và hệ thống đánh giá mạnh mẽ, các doanh nghiệp có thể khai thác tối đa sức mạnh của AI. Hãy bắt đầu tối ưu hóa hạ tầng của bạn ngay hôm nay và đừng quên theo dõi hi_dev để cập nhật những kiến thức kỹ thuật chuyên sâu nhất về hệ sinh thái AI.