Mô hình Context Dài vs. Ngắn: Khi nào thực sự cần 'cửa sổ ngữ cảnh' lớn?

Trong thế giới AI hiện nay, mỗi thế hệ mô hình mới đều đi kèm với một "cửa sổ ngữ cảnh" (context window) lớn hơn. Từ BERT và MiniLM với 512 tokens, chúng ta đã tiến tới ModernBERT với 8.192 tokens — một sự gia tăng gấp 16 lần. Tuy nhiên, liệu việc "nhồi nhét" nhiều dữ liệu hơn có thực sự mang lại hiểu biết sâu sắc hơn, hay chỉ là một cuộc đua về thông số kỹ thuật?

1. Giới thiệu: Sự thật về các tuyên bố tiếp thị

1.1 Câu hỏi bị bỏ ngỏ

Ngành công nghiệp AI đang dịch chuyển từ 512 lên 8.192 tokens cho các mô hình Encoder và Embedding. Cần phân biệt rõ:

• Encoder (BERT, ModernBERT): Chuyển đổi văn bản thành các vector đại diện cho từng token, hữu ích cho việc tinh chỉnh (fine-tuning) các tác vụ phân loại.
• Embedding (Sentence-transformers, Nomic-embed, GTE/E5): Nén toàn bộ đoạn văn thành một vector cố định, tối ưu cho tìm kiếm ngữ nghĩa và RAG (Retrieval-Augmented Generation).

Câu hỏi quan trọng là: Bao nhiêu ngữ cảnh là đủ? "Hỗ trợ 8.192 tokens" là một thông số kỹ thuật, không phải là đảm bảo hiệu suất.

1.2 Chi phí tính toán: Bài toán Quadratic

Cơ chế Attention trong Transformer có độ phức tạp $O(n^2)$. Việc tăng từ 512 lên 8.192 tokens không chỉ là 16 lần dữ liệu, mà là 256 lần khối lượng tính toán. Trong các thí nghiệm thực tế, thời gian huấn luyện tăng từ 35 giây lên 771 giây (22 lần) cho tác vụ phân loại bằng sáng chế.

1.3 Vị trí của thông tin quan trọng

Giả định sai lầm phổ biến là "tài liệu dài cần cửa sổ dài". Thực tế, tài liệu như bằng sáng chế thường "front-loaded" (thông tin quan trọng nằm ở tiêu đề, tóm tắt và các yêu cầu đầu tiên). Nếu thông tin quan trọng đã nằm trong 512 tokens đầu tiên, việc mở rộng lên 8.192 tokens chỉ là sự lãng phí tài nguyên.

2. Hai cách xử lý tài liệu dài

2.1 Mở rộng cửa sổ ngữ cảnh (Long Context)

Các kỹ thuật hiện đại giúp đạt được 8.192 tokens:

• RoPE (Rotary Position Embeddings): Mã hóa vị trí dưới dạng xoay vector, giúp mô hình hiểu khoảng cách tương đối thay vì vị trí tuyệt đối.
• Alternating Local & Global Attention: Các lớp Local Attention xử lý vùng lân cận (tiết kiệm chi phí), xen kẽ với các lớp Global Attention để nắm bắt thông tin xa.
• Unpadding & Sequence Packing: Loại bỏ các token [PAD] thừa thãi để đảm bảo mọi phép tính đều có giá trị.

2.2 Kỹ thuật Chunking (Chia nhỏ)

Thay vì mở rộng cửa sổ, bạn chia tài liệu thành các phần nhỏ (chunks):

• Overlap: Chia nhỏ có chồng lấp để tránh mất mát thông tin tại ranh giới các đoạn.
• Chunk-and-pool: Mã hóa độc lập từng chunk 512 tokens, sau đó lấy trung bình (mean-pool) các vector [CLS] để phân loại. Đây là phương pháp cực kỳ hiệu quả về chi phí cho các tác vụ phân loại.

3. Thí nghiệm và Phân tích

3.1 Thiết lập thí nghiệm

• Mô hình: ModernBERT (32M tham số) với RoPE và Attention xen kẽ.
• Quy tắc: Sử dụng cùng tập dữ liệu, cùng hạt giống (seed) để đảm bảo tính khách quan.

3.2 Kết quả: Khi nào Long Context thắng?

• Thí nghiệm 1 (Phân loại bằng sáng chế): Kết quả cho thấy sự khác biệt giữa 512 và 8.192 tokens là không đáng kể (t-test cho thấy p=0.51). Thông tin quan trọng nằm ở phần đầu tài liệu.
• Thí nghiệm 2 (Phân loại CPC): Phương pháp Chunk-512-pool vượt trội hơn cả về độ chính xác (0.654) so với 8.192 full pass (0.632) và nhanh hơn 4.6 lần.

Kết luận

Đừng mặc định chọn cửa sổ ngữ cảnh lớn nhất. Hãy đặt câu hỏi: "Thông tin quan trọng nằm ở đâu?"

• Nếu thông tin nằm ở đầu: Dùng 512 tokens.
• Nếu thông tin rải rác: Dùng Chunk-and-pool.
• Nếu thông tin cần sự kết nối xa: Chỉ lúc này mới cần chi trả cho cửa sổ ngữ cảnh dài.