Đánh giá độ ổn định cấu trúc của các mô hình kinh tế lượng: Góc nhìn từ Khoa học dữ liệu

Giới thiệu: Tại sao độ ổn định lại quan trọng?

Trong lĩnh vực Khoa học dữ liệu, việc xác định các 'chốt chặn' (guardrails) cho quy trình mô hình hóa là vô cùng quan trọng. Một trong những khái niệm then chốt thường bị bỏ qua trong kinh tế lượng truyền thống nhưng lại được coi trọng trong khoa học dữ liệu là: Độ ổn định của mô hình (Model Stability).

Với sự bùng nổ của Big Data, số lượng biến số để mô hình hóa một vấn đề đã tăng theo cấp số nhân. Ví dụ, các hệ thống gợi ý bài hát hay phim ảnh hiện nay không chỉ dựa trên lịch sử xem, mà còn tính đến thời gian trong ngày, thời tiết, tâm trạng, v.v. Câu hỏi đặt ra là: Làm thế nào để biết biến nào nên dùng, biến nào nên loại bỏ? Và làm thế nào để đảm bảo mô hình không bị 'chệch hướng' khi dữ liệu thay đổi?

Định nghĩa độ ổn định (Stability) vs. Độ chính xác (Accuracy)

Độ ổn định là thước đo cách một mô hình học (cơ chế học), không phải cái nó học được (độ chính xác). Một mô hình ổn định là mô hình:

• Có thể áp dụng nhất quán cho nhiều đối tượng người dùng khác nhau.
• Xác định tập hợp biến liên quan một cách nhất quán.
• Duy trì thứ tự ưu tiên của các biến.

Giữa hai mô hình có cùng độ chính xác, chúng ta luôn ưu tiên mô hình ổn định hơn vì nó bền bỉ trước các biến động nhỏ của dữ liệu đầu vào. Ví dụ, trong giao dịch tần suất cao (High-Frequency Trading), nếu giá chứng khoán biến động quá mạnh, các mô hình phức tạp có thể 'phát điên' (như sự kiện ngày 9/3/2020), dẫn đến việc phải kích hoạt các cơ chế ngắt mạch (circuit breakers).

Thách thức trong Kinh tế lượng: Dữ liệu chuỗi thời gian

Khác với học máy thông thường, kinh tế lượng làm việc trong 'miền tần số' (frequency domain), nơi dữ liệu có quan hệ thời gian chặt chẽ. Chúng ta không thể sử dụng k-fold cross-validation ngẫu nhiên vì nó sẽ phá vỡ tính liên tục của thời gian.

Các mô hình như ARIMAX, Exponential State Space, hay Fourier basis đều khai thác các quan hệ thời gian khác nhau. Do đó, không có một kỹ thuật kiểm chứng chéo tổng quát nào cho tất cả.

Tập trung vào cấu trúc AR (Auto-Regressive)

Trong bài viết này, chúng ta tập trung vào hàm auto.arima trong gói forecast của R. Một quy trình ARMA được biểu diễn như sau:

Thông thường, các hệ số được hiệu chỉnh bằng tiêu chuẩn thông tin (AIC) để giảm sai số. Tuy nhiên, AIC không chứa thông tin về độ ổn định. Để đo độ ổn định, chúng ta cần xem xét:

1. Giá trị hệ số của mỗi độ trễ (lag): Một mô hình ổn định phải tính toán được hệ số chính xác mỗi khi thêm dữ liệu mới.
2. Phản ứng với nhiễu (perturbations): Nếu ta thêm dữ liệu không cùng phân phối (shocks), mô hình ổn định không nên cố gắng dự báo các cú sốc đó.

Phương pháp thực hành: Rolling Validation

Thay vì subset ngẫu nhiên, chúng ta sử dụng Rolling Validation (kiểm chứng cuốn chiếu). Đây là cách tốt nhất để bảo toàn quan hệ thời gian.

Thử nghiệm với dữ liệu mô phỏng

Giả sử chúng ta có một quy trình AR với 4 độ trễ, vector hệ số là {0.7, -0.2, 0.5, -0.8} với 1.000 chu kỳ. Khi chạy auto.arima với rolling validation bắt đầu từ n=20:

• Kết quả: Phải mất khoảng 400 điểm dữ liệu thì auto.arima mới hội tụ về một giải pháp ổn định về mặt số học.
• Quan sát: Độ chính xác ngoài mẫu (out-of-sample) có thể tốt ngay cả khi mô hình còn biến động, nhưng mô hình sau 400 điểm dữ liệu sẽ bền bỉ hơn nhiều trước các điểm dữ liệu mới.

Tác động của nhiễu (Shocks) đến độ ổn định

Khi chúng ta thêm các cú sốc ngẫu nhiên vào dữ liệu, auto.arima cho thấy sự bất ổn rõ rệt:

1. Sai lệch hệ số: Các đường biểu diễn hệ số bị đẩy lệch hoàn toàn so với giá trị thực.
2. Sai lầm cấu trúc: Thuật toán bắt đầu gán giá trị khác 0 cho các số hạng MA1 hoặc MA2 vốn không tồn tại trong dữ liệu gốc.

Kết luận

Việc tách biệt độ ổn định khỏi độ chính xác là một bước tiến lớn trong quy trình kinh tế lượng. Nếu chỉ nhìn vào kết quả cuối cùng mà không quan sát quá trình hội tụ, chúng ta rất dễ rơi vào bẫy của các mô hình 'phức tạp nhưng rỗng tuếch'.

Lời khuyên cho các nhà phân tích:

• Hãy đo lường cả độ chính xác và độ ổn định trên dữ liệu thô và dữ liệu đã xử lý.
• Parsimony (sự đơn giản) luôn tốt hơn các mô hình phức tạp không mang lại giá trị insight thực tế.
• Đừng tin tưởng mù quáng vào kết quả của thuật toán nếu bạn chưa kiểm tra tính hội tụ của nó qua rolling validation.