Zillow và bài học xương máu về ROI của AI: Đừng xây dựng trước khi đo lường

Bài viết được dịch và tổng hợp từ tin tức gốc. Bạn có thể đọc bài viết gốc bằng tiếng Anh tại đây.

Điểm tin nhanh:

• Zillow khẳng định ROI của AI chỉ đáng tin cậy khi doanh nghiệp thiết lập hệ thống đo lường (DORA metrics) trước khi triển khai AI.
• Việc xây dựng lớp ngữ cảnh (context layer) quan trọng hơn việc xử lý dữ liệu thô trong các ứng dụng AI doanh nghiệp.
• Chiến lược của Zillow tập trung vào việc định tuyến mô hình (model routing) và ngữ cảnh tính toán trước để tối ưu chi phí token thay vì phụ thuộc vào các mô hình lớn tổng quát.

Trong kỷ nguyên mà mọi doanh nghiệp đều chạy đua để tích hợp AI vào quy trình vận hành, câu hỏi về ROI (tỷ suất hoàn vốn) thường bị bỏ ngỏ hoặc được thổi phồng một cách thiếu cơ sở. Tại sự kiện VB Transform 2026, Toby Roberts, SVP of Engineering tại Zillow, đã đưa ra một lời cảnh tỉnh đanh thép: Nếu bạn không có một hệ thống đo lường hiệu suất kỹ thuật vững chắc từ trước, mọi con số về hiệu quả AI mà bạn công bố chỉ là những con số ảo. Đây là bài học đắt giá cho bất kỳ kỹ sư nào đang tìm cách tối ưu hóa quy trình làm việc cho AI Coding Agents trong môi trường doanh nghiệp.

Dữ liệu không phải là rào cản lớn nhất

Nhiều đội ngũ kỹ thuật thường sa lầy vào việc làm sạch dữ liệu (data cleaning) và coi đó là thách thức lớn nhất. Tuy nhiên, theo Roberts, tại Zillow, thách thức thực sự nằm ở việc duy trì ngữ cảnh (context) xuyên suốt hành trình khách hàng. Một giao dịch bất động sản không chỉ là một cuộc trò chuyện đơn lẻ; nó là chuỗi tương tác kéo dài hàng tháng trời giữa người mua, nhân viên ngân hàng và môi giới. Nếu AI không thể ghi nhớ ngữ cảnh này, nó sẽ thất bại.

Zillow đã chọn cách tự xây dựng một lớp ngữ cảnh (persistent context layer) thay vì phụ thuộc vào các giao diện chat bên ngoài. Điều này tương tự như cách các kỹ sư cần ngừng viết mã và bắt đầu điều hướng để hiểu rõ hơn về hệ thống thay vì chỉ tập trung vào các dòng code đơn lẻ.

Chiến lược tối ưu hóa chi phí AI

Zillow không sử dụng một mô hình duy nhất cho mọi tác vụ. Thay vào đó, họ áp dụng các mô hình nhỏ, chuyên biệt cho từng nhiệm vụ cụ thể. Việc kết hợp với Glean giúp Zillow quản lý hàng nghìn tác nhân AI (AI agents) một cách tập trung, tránh tình trạng mỗi phòng ban lại tự xây dựng các kết nối riêng biệt gây lãng phí tài nguyên.

Mẹo hay: Việc sử dụng các mô hình nhỏ hơn cho các tác vụ lặp đi lặp lại không chỉ giúp giảm chi phí token mà còn cải thiện độ trễ (latency) của hệ thống, một yếu tố sống còn khi triển khai các AI Agent Swarm trong thực tế.

Đánh giá & Lời khuyên Thực tiễn

Từ góc nhìn của một kỹ sư cấp cao, cách tiếp cận của Zillow là một mô hình mẫu mực cho việc xây dựng hệ thống trong kỷ nguyên Sovereign AI.

• Ưu điểm: Khả năng đo lường chính xác hiệu suất nhờ DORA metrics giúp minh bạch hóa giá trị của AI. Việc tập trung vào ngữ cảnh thay vì chỉ dữ liệu thô giúp AI thực sự hiểu người dùng.
• Nhược điểm: Đòi hỏi hạ tầng kỹ thuật cực kỳ phức tạp và sự đầu tư dài hạn vào quản trị dữ liệu trước khi có thể thấy kết quả từ AI.
• Lưu ý: Đừng bao giờ tin tưởng tuyệt đối vào cơ chế kế thừa quyền (permission inheritance) của các mô hình AI. Hãy luôn áp dụng các quy tắc kiểm soát cứng (hard rules) và kiểm tra tuân thủ (compliance check) đối với dữ liệu nhạy cảm.

Câu hỏi thường gặp (FAQ)

Tại sao đo lường trước khi xây dựng lại quan trọng?

Vì nếu không có baseline, bạn không thể phân biệt được hiệu suất tăng lên là do AI hay do các cải tiến hạ tầng khác. DORA metrics cung cấp con số thực tế để chứng minh ROI.

Làm thế nào để giảm chi phí token hiệu quả?

Sử dụng kỹ thuật định tuyến mô hình (model routing) và tính toán trước ngữ cảnh (precomputed context) để tránh việc gửi dữ liệu dư thừa vào các mô hình frontier đắt đỏ.

Có nên xây dựng lớp ngữ cảnh riêng không?

Nếu ứng dụng của bạn yêu cầu sự xuyên suốt trong hành trình khách hàng dài hạn, việc sở hữu lớp ngữ cảnh riêng là bắt buộc để không bị phụ thuộc vào giới hạn của các mô hình LLM bên thứ ba.

Kết luận

Bài học từ Zillow cho thấy AI không phải là một chiếc đũa thần có thể giải quyết mọi vấn đề nếu không được đặt trên một nền tảng kỹ thuật vững chắc. Hãy bắt đầu bằng việc đo lường, tối ưu hóa ngữ cảnh và tập trung vào hiệu quả vận hành thay vì chỉ chạy theo các mô hình mới nhất. Nếu bạn đang đối mặt với những thách thức tương tự trong việc tự động hóa tài liệu hóa mã nguồn, hãy chia sẻ quan điểm của bạn dưới phần bình luận hoặc theo dõi hi_dev để cập nhật những chiến lược kỹ thuật mới nhất.