HubSpot đã mở rộng quy mô tìm kiếm ngữ nghĩa (Semantic Search) lên 20 tỷ Vector như thế nào?

Bài viết được dịch và tổng hợp từ tin tức gốc. Bạn có thể đọc bài viết gốc bằng tiếng Anh tại đây.

Điểm tin nhanh:

HubSpot đã phát triển nền tảng VaaS (Vector as a Service) để quản lý hơn 20 tỷ vector, phục vụ cho các ứng dụng AI, RAG và deduplication.

Hệ thống sử dụng cơ sở dữ liệu Qdrant chạy on-premises để đảm bảo quyền kiểm soát dữ liệu, bảo mật và tích hợp sâu với hạ tầng nội bộ.

Việc chuyển đổi từ quản lý thủ công bằng Helm sang Kubernetes Operator giúp tự động hóa quy trình vận hành, giảm thời gian khởi tạo cụm từ hàng giờ xuống còn vài phút.

Tổng quan về thách thức quy mô tại HubSpot

Trong kỷ nguyên của AI tạo sinh, khả năng tìm kiếm ngữ nghĩa (Semantic Search) đã trở thành xương sống cho các ứng dụng như RAG (Retrieval-Augmented Generation) và các tác nhân AI (AI Agents). HubSpot, một nền tảng SaaS hàng đầu, đã chia sẻ chi tiết về hành trình xây dựng nền tảng VaaS (Vector as a Service), một dịch vụ nội bộ giúp quản lý hơn 20 tỷ vector cho hơn 38 đội ngũ phát triển khác nhau.

Bảng thống kê quy mô hệ thống VaaS

Thông số	Giá trị hiện tại
Tổng số Vector	> 20 tỷ
Số lượng đội ngũ sử dụng	> 38
Số lượng Index	> 200
Số lượng Cluster	> 140
Số lượng khu vực (Regions)	5
Lưu lượng ghi (Writes)	100.000 yêu cầu/giây

Tại sao lại là Qdrant?

HubSpot đã chọn Qdrant làm công cụ cốt lõi cho VaaS. Các lý do chính bao gồm:

Khả năng chạy On-premises: Cho phép HubSpot kiểm soát hoàn toàn dữ liệu khách hàng và tích hợp với các công cụ bảo mật, giới hạn tốc độ (rate limiting) và theo dõi chi phí nội bộ.
Tính năng nâng cao: Hỗ trợ các vector có tên (named vectors), tìm kiếm lai (hybrid search), truy vấn đa giai đoạn và xếp hạng lại có trọng số (weighted reranking).
Tối ưu chi phí: Hỗ trợ kỹ thuật lượng tử hóa (quantization) và lưu trữ trên đĩa (on-disk storage) giúp tối ưu hóa tài nguyên phần cứng.

Từ Helm đến Kubernetes Operator: Cuộc cách mạng vận hành

Ban đầu, HubSpot quản lý hệ thống bằng Helm. Tuy nhiên, khi quy mô tăng lên, việc quản lý thủ công trở nên quá tải. Helm không thể thực hiện các lệnh gọi API, tự động mở rộng dựa trên số liệu bên ngoài hoặc xử lý các tác vụ phức tạp liên quan đến vòng đời của hệ thống.

Kiến trúc "Translators"

Đội ngũ kỹ thuật đã chuyển sang sử dụng Kubernetes Operator framework. Họ triển khai các thành phần gọi là "Translators", có nhiệm vụ:

Đối chiếu trạng thái mong muốn (desired state) và trạng thái thực tế (actual state) mỗi 60 giây.
Tự động hóa việc tạo và hủy cụm (cluster lifecycle).
Quản lý việc di chuyển shard và phục hồi sao chép (replication recovery).

Kết quả của sự thay đổi này là thời gian khởi tạo cụm giảm từ hàng giờ xuống chỉ còn vài phút, loại bỏ nhu cầu duy trì các cụm dự phòng (standby clusters).

Bài học kinh nghiệm và xu hướng thị trường

HubSpot nhấn mạnh rằng ở quy mô hàng tỷ vector, thách thức không chỉ nằm ở thuật toán tìm kiếm mà còn ở vận hành hạ tầng. Một shard bị mất cân bằng có thể buộc toàn bộ cụm phải mở rộng quy mô sớm hơn dự kiến.

Các bài học rút ra từ các đơn vị khác (như Pinecone) cũng đồng nhất với HubSpot:

Tách biệt lưu trữ và tính toán (Storage & Compute): Để tối ưu hóa tài nguyên.
Độ tin cậy là tính năng: Coi việc vận hành ổn định là ưu tiên hàng đầu.
Giám sát: Cần theo dõi chặt chẽ độ trễ (latency) và độ chính xác (recall) của kết quả tìm kiếm.

Việc HubSpot xây dựng VaaS cho thấy một xu hướng tất yếu: khi các ứng dụng AI trở thành trung tâm, cơ sở dữ liệu vector không còn là một thành phần độc lập mà phải trở thành một nền tảng dịch vụ (platform service) được tự động hóa hoàn toàn.