Richard Sutton: Cha đẻ Reinforcement Learning rời bỏ Carmack để theo đuổi kỷ nguyên AI mới

Bài viết được dịch và tổng hợp từ tin tức gốc. Bạn có thể đọc bài viết gốc bằng tiếng Anh tại đây.

Điểm tin nhanh:

• Richard Sutton rời Keen Technologies để sáng lập Oak Lab cùng Khurram Javed.
• Mục tiêu là xây dựng hệ thống AI học hỏi từ trải nghiệm thực tế, không dựa vào dữ liệu tĩnh.
• Hướng tới mục tiêu trillion-parameter agent vận hành với mức tiêu thụ năng lượng chỉ 20 watt.

Trong thế giới của các mô hình ngôn ngữ lớn (LLM) đang chạy đua về quy mô tham số, Richard Sutton – một trong những bộ óc vĩ đại nhất của ngành AI – vừa đưa ra một tuyên bố gây sốc: phương pháp Deep Learning hiện tại đang đi vào ngõ cụt. Việc ông rời bỏ Keen Technologies của John Carmack không chỉ là một sự thay đổi nhân sự, mà là sự khởi đầu cho một cuộc cách mạng kỹ thuật nhằm thay đổi cách chúng ta định nghĩa về sự thông minh của máy móc.

Khi Deep Learning không còn là lời giải duy nhất

Sutton, người đồng nhận giải thưởng Turing 2024 cho những đóng góp nền tảng về Reinforcement Learning, cho rằng các phương pháp học sâu hiện nay đang quá yếu và thiếu hiệu quả. Thay vì tiếp tục tinh chỉnh các kiến trúc hiện có, ông khẳng định cần những ý tưởng mang tính đột phá. Điều này gợi nhắc đến tư duy về nợ kỹ thuật không phải là nợ, nơi mà việc bám víu vào các quy trình cũ kỹ sẽ kìm hãm sự tiến hóa của hệ thống.

Triết lý của Oak Lab: Học từ trải nghiệm, không phải dữ liệu

Oak Lab tập trung vào luận điểm: Trí tuệ thực sự được tạo ra từ trải nghiệm thời gian thực (real-time experience). Các mô hình hiện nay đang bị giới hạn bởi các tập dữ liệu được làm sạch và lọc bởi con người. Trong thực tế, dữ liệu là một mớ hỗn độn đầy nhiễu. Các thuật toán tối ưu hóa truyền thống như SGD hay Adam thường không thể phân biệt được đâu là tín hiệu quan trọng và đâu là nhiễu, dẫn đến việc hấp thụ sai lệch vào trọng số mô hình.

Để giải quyết vấn đề này, Sutton và cộng sự Khurram Javed đã phát triển NetworkIDBD, một phiên bản thần kinh của thuật toán IDBD cũ. Thuật toán này cho phép hệ thống chỉ gán tín hiệu cho những thông tin thực sự có giá trị dự báo, giúp agent học được các quy luật thực tế thay vì bị nhấn chìm trong dữ liệu rác.

Hướng tới mục tiêu 20 watt

Tham vọng của Oak Lab là tạo ra một agent với hàng nghìn tỷ tham số nhưng chỉ tiêu thụ 20 watt năng lượng, tương đương với mức tiêu thụ của não bộ con người. Đây là một thách thức cực lớn về mặt hạ tầng. Nếu bạn đang quan tâm đến việc tối ưu hóa hiệu năng Claude Code, bạn sẽ hiểu rằng việc đo lường và kiểm soát tài nguyên là yếu tố sống còn trong mọi hệ thống AI hiện đại.

Mẹo hay: Việc chuyển dịch sang các mô hình học liên tục (continuous learning) đòi hỏi sự thay đổi trong tư duy quản trị hệ thống. Hãy tham khảo cách xây dựng AI Code Reviewer đầy cá tính để hiểu cách tích hợp các agent thông minh vào quy trình làm việc thay vì chỉ dựa vào các script tĩnh.

Đánh giá & Lời khuyên Thực tiễn

Từ góc độ của một Tech Lead, cách tiếp cận của Sutton là một canh bạc táo bạo.

• Ưu điểm: Giảm thiểu sự phụ thuộc vào dữ liệu gán nhãn, tăng khả năng thích nghi trong các môi trường động.
• Nhược điểm: Độ phức tạp trong triển khai cực cao, chưa có framework thương mại hóa sẵn sàng cho NetworkIDBD.
• Phạm vi ứng dụng: Phù hợp cho các hệ thống Robotics, xe tự hành hoặc các hệ thống điều khiển công nghiệp cần sự phản hồi tức thời.

Lưu ý: Khi triển khai các mô hình học liên tục trên môi trường Production, rủi ro lớn nhất là sự trôi dạt dữ liệu (data drift) và khả năng mất kiểm soát hành vi của agent. Hãy luôn xây dựng các cơ chế giám sát chặt chẽ, tương tự như cách bạn giám sát AI Agent thời gian thực để đảm bảo hệ thống không đi chệch hướng.

Câu hỏi thường gặp (FAQ)

Tại sao Sutton lại cho rằng Deep Learning hiện tại là không hiệu quả?

Ông cho rằng các mô hình hiện nay quá phụ thuộc vào dữ liệu tĩnh và tiêu tốn quá nhiều năng lượng để huấn luyện, trong khi trí tuệ thực sự cần khả năng học hỏi liên tục từ trải nghiệm thực tế.

NetworkIDBD khác gì so với các thuật toán tối ưu hóa thông thường?

NetworkIDBD có khả năng gán tín hiệu có chọn lọc, giúp hệ thống bỏ qua nhiễu trong dữ liệu thực tế, điều mà SGD hay Adam thường gặp khó khăn.

Oak Lab có phải là một công ty sản xuất chatbot không?

Không, mục tiêu của họ là xây dựng các agent có khả năng lập kế hoạch và học hỏi trong thời gian thực, tập trung vào hiệu suất năng lượng thay vì chỉ tăng quy mô tham số để tạo ra chatbot lớn hơn.

Kết luận

Sự ra đi của Richard Sutton để thành lập Oak Lab đánh dấu một bước ngoặt quan trọng trong ngành AI. Chúng ta đang chuyển dịch từ kỷ nguyên "càng lớn càng tốt" sang kỷ nguyên của sự hiệu quả và khả năng học hỏi thực tế. Đối với các kỹ sư, đây là lúc cần cập nhật tư duy về cách xây dựng hệ thống AI. Hãy tiếp tục theo dõi hi_dev để cập nhật những bước tiến mới nhất từ Oak Lab và các công nghệ AI tiên phong khác.

Bạn nghĩ sao về hướng đi của Richard Sutton? Liệu Reinforcement Learning có thể thay thế Deep Learning trong tương lai? Hãy để lại bình luận phía dưới để cùng thảo luận.