Giải mã sự tương đương giữa Policy Gradients và Soft Q-Learning trong Học tăng cường

Bài viết được dịch và tổng hợp từ tin tức gốc. Bạn có thể đọc bài viết gốc bằng tiếng Anh tại đây.

Điểm tin nhanh:

Chứng minh sự tương đương toán học giữa các thuật toán Policy Gradient và Soft Q-Learning thông qua khung tối ưu hóa entropy.

Giải thích cách các phương pháp tối ưu hóa chính sách có thể được xem như một dạng đặc biệt của Soft Q-Learning.

Cung cấp cái nhìn sâu sắc về việc kết hợp ưu điểm của cả hai hướng tiếp cận để cải thiện tính ổn định và hiệu suất trong Reinforcement Learning.

Giới thiệu

Trong lĩnh vực Học tăng cường (Reinforcement Learning - RL), hai hướng tiếp cận chính thường được thảo luận là Policy Gradients (tối ưu hóa trực tiếp chính sách) và Value-based methods (như Q-Learning). Mặc dù chúng có vẻ khác biệt về bản chất, nghiên cứu từ OpenAI đã chỉ ra một sự tương đương toán học đáng kinh ngạc giữa chúng khi áp dụng khung làm việc Maximum Entropy RL.

Khung lý thuyết: Maximum Entropy RL

Thay vì chỉ tối đa hóa phần thưởng kỳ vọng thông thường, Maximum Entropy RL thêm một số hạng entropy vào hàm mục tiêu:

$$J(\pi) = \sum_{t=0}^{T} E_{(s_t, a_t) \sim \rho_{\pi}} [r(s_t, a_t) + \alpha H(\pi(\cdot|s_t))]$$

Trong đó:

$H(\pi(\cdot|s_t))$ là entropy của chính sách tại trạng thái $s_t$.
$\alpha$ là tham số điều chỉnh độ quan trọng của entropy (temperature).

Bảng so sánh các phương pháp tiếp cận

Đặc điểm	Policy Gradients	Soft Q-Learning	Maximum Entropy RL
Mục tiêu	Tối đa hóa phần thưởng	Tối đa hóa giá trị Q	Phần thưởng + Entropy
Cập nhật	Trực tiếp trên $\pi$	Thông qua Bellman	Kết hợp cả hai
Tính ổn định	Thấp (High variance)	Trung bình	Cao
Khám phá	Dựa trên stochasticity	Dựa trên $\epsilon$-greedy	Tự động qua Entropy

Sự tương đương toán học

Nghiên cứu chỉ ra rằng khi chúng ta thực hiện các bước cập nhật chính sách, gradient của hàm mục tiêu entropy có thể được biểu diễn dưới dạng sai số giữa chính sách hiện tại và một phân phối Boltzmann dựa trên các giá trị Q-soft.

Các bước chứng minh chính

Định nghĩa Soft Q-value: $Q_{soft}(s, a) = r(s, a) + \gamma E [V_{soft}(s')]$.
Chính sách tối ưu: $\pi^*(a|s) \propto \exp(\frac{1}{\alpha} Q_{soft}(s, a))$.
Sự tương đương: Khi $\alpha \to 0$, phương pháp hội tụ về Q-Learning truyền thống. Khi $\alpha > 0$, các thuật toán Policy Gradient (như TRPO hoặc PPO) có thể được coi là thực hiện một bước tối ưu hóa KL-divergence đối với phân phối Boltzmann này.

Ý nghĩa thực tiễn

Việc hiểu rõ sự tương đương này cho phép các kỹ sư AI:

Cải thiện tính ổn định: Sử dụng các kỹ thuật từ Soft Q-Learning để làm mượt quá trình cập nhật của Policy Gradients.
Tối ưu hóa khám phá: Tự động điều chỉnh tham số $\alpha$ giúp tác nhân (agent) khám phá môi trường hiệu quả hơn mà không cần các chiến lược heuristic phức tạp.
Kết hợp thuật toán: Phát triển các kiến trúc lai (hybrid) như Soft Actor-Critic (SAC), tận dụng ưu điểm của cả hai thế giới.

Kết luận

Sự tương đương giữa Policy Gradients và Soft Q-Learning không chỉ là một kết quả lý thuyết thuần túy mà còn là nền tảng cho sự phát triển của các thuật toán RL hiện đại. Việc nắm vững các khái niệm này giúp lập trình viên tối ưu hóa các mô hình AI phức tạp một cách khoa học và hiệu quả hơn.