AI tạo càng nhiều strategy, chọn model càng khó

Trước đây, một Quant Researcher có thể mất vài ngày để nghĩ hypothesis, chuẩn bị dữ liệu, viết code và backtest một strategy. Với AI agent, vòng lặp đó có thể được rút ngắn đáng kể. Một hypothesis ban đầu có thể nhanh chóng sinh ra hàng chục biến thể về feature, lookback, universe, weighting và cách xây portfolio. CFM thậm chí cho biết họ kỳ vọng AI có thể giúp quá trình nghiên cứu tạo ra số lượng model lớn hơn khoảng 10–100 lần; chính CFM đồng thời nhấn mạnh thách thức tiếp theo là xây được một phương pháp đủ mạnh để đánh giá và chọn những model robust ở quy mô đó.

Đây là một thay đổi khá lớn trong bài toán Quant. Bottleneck dần không còn nằm ở khả năng viết thêm một backtest. Bottleneck chuyển sang việc quyết định strategy nào đáng tiếp tục, strategy nào chỉ đang fit noise và strategy nào đủ khác những thứ portfolio đã có để đáng bỏ thêm vốn. Khi chi phí tạo model tiến gần về 0, một research platform tốt không phải platform sinh được nhiều model nhất mà là platform loại được false winners tốt nhất.

PHẦN 1. AI TẠO 500 STRATEGY KHÔNG CÓ NGHĨA MÌNH ĐÃ TÌM ĐƯỢC 500 NGUỒN ALPHA

Giả sử mình đang nghiên cứu stock selection trên VN100. Ý tưởng ban đầu khá đơn giản: kết hợp Momentum, volatility, liquidity và earnings growth để xếp hạng cổ phiếu. Nếu làm thủ công, có thể mình thử Ridge, Random Forest và Gradient Boosting với vài bộ tham số. Nhưng khi giao việc cho một research agent, không gian tìm kiếm có thể mở rất nhanh. Agent có thể thay Momentum 20 ngày bằng 40, 60, 90 hoặc 120 ngày; thử nhiều cách winsorize; thêm sector-neutralization; đổi target từ return 5 ngày sang 20 ngày; thay cách weighting; thử rebalance hàng tuần hoặc hàng tháng; rồi tự kết hợp các feature với nhau. Một hypothesis ban đầu rất dễ biến thành vài trăm backtest.

Nếu sau đó chỉ chọn strategy có Sharpe 2.1 và gọi đó là “model tốt nhất”, research process đang vô tình biến thành một cuộc thi tìm noise. Ngay cả khi toàn bộ 500 strategy đều không có alpha thật, xác suất một vài strategy trông rất đẹp trên dữ liệu lịch sử vẫn không nhỏ. Bailey và López de Prado chỉ ra đúng vấn đề này khi xây Deflated Sharpe Ratio: khi researcher thử nhiều chiến lược hoặc nhiều cấu hình rồi chỉ giữ lại kết quả tốt nhất, Sharpe quan sát được phải được đánh giá trong bối cảnh số lần thử đã diễn ra, nếu không performance rất dễ bị thổi phồng bởi selection bias.

AI khiến vấn đề này mạnh hơn vì nó giảm mạnh chi phí của mỗi trial. Trước đây researcher có thể dừng ở 30 strategy vì hết thời gian. Bây giờ agent có thể tiếp tục tạo strategy thứ 31, 300 hay 3.000 mà gần như không mệt. CFM mô tả rất thẳng vấn đề này: một agent có thể rất giỏi trong việc tìm những lỗi rất nhỏ trong dữ liệu, khai thác các tương quan giả và tạo ra model “đẹp trên giấy” nhưng hoàn toàn không tồn tại ngoài mẫu. Vì thế, khi AI tăng research velocity, hệ thống kiểm soát in-sample bias phải tăng cùng tốc độ.

Đây cũng là lý do số lượng model không thể được dùng như thước đo productivity của một Quant team. Một team chạy 1.000 backtest mỗi tuần nhưng không lưu trial history, không có holdout độc lập và chỉ báo cáo Top Sharpe có thể tạo ít giá trị hơn team chỉ thử 30 hypothesis nhưng mỗi hypothesis được đăng ký trước, dữ liệu point-in-time rõ ràng và tất cả kết quả thất bại đều được lưu lại. Khi đánh giá research productivity, mình quan tâm nhiều hơn tới tỷ lệ ý tưởng sống sót qua out-of-sample, mức độ bổ sung cho portfolio và khả năng tái lập kết quả hơn là số notebook đã chạy.

Một vấn đề khác là hai strategy có Sharpe giống nhau chưa chắc có giá trị giống nhau. Strategy A có Sharpe 1.5 nhưng cần rebalance hàng ngày, turnover rất cao, tập trung nhiều vào small cap và phụ thuộc một bộ dữ liệu mua ngoài đắt tiền. Strategy B cũng có Sharpe 1.5 nhưng dùng dữ liệu ổn định, turnover thấp, khả năng scale tốt và correlation thấp với những alpha hiện tại. Nếu chỉ sort bảng kết quả theo Sharpe, hai strategy trông ngang nhau. Nhưng với một portfolio thật, B có thể hữu ích hơn rất nhiều.

Điều này dẫn tới một thay đổi quan trọng trong Model Selection: một model không nên được đánh giá độc lập khỏi portfolio mà nó sẽ tham gia. Nếu một Momentum model mới có Sharpe 1.8 nhưng correlation 0.9 với Momentum strategy đang chạy, incremental value có thể khá nhỏ. Một signal khác chỉ có Sharpe 1.0 nhưng hoạt động tốt trong những giai đoạn portfolio hiện tại gặp khó có thể mang lại diversification lớn hơn. Model Selection vì vậy không còn là chọn model “mạnh nhất”; nó là chọn model tạo ra giá trị biên tốt nhất sau khi đặt cạnh những thứ mình đã sở hữu.

PHẦN 2. KHI SỐ MODEL TĂNG LÊN, RESEARCH GATE PHẢI KHÓ HƠN CHỨ KHÔNG ĐƯỢC DỄ HƠN

Man Group đang thử một hướng khá đáng chú ý với AlphaTrend: thay vì để một AI assistant hoàn toàn tự do nghiên cứu mọi thứ, họ xây một agentic workflow chuyên biệt cho trend-following research với các bước được định nghĩa trước. Các stage, dependency và luồng thông tin được thiết kế trước khi hệ thống chạy. Trong thử nghiệm của họ, Man Group cũng lưu ý rằng prompt càng mở và AI càng được trao nhiều “creativity”, rủi ro overfitting càng cần được kiểm soát cẩn thận.

Điểm này khá quan trọng. Nếu agent được yêu cầu “hãy tìm cho tôi strategy tốt nhất trên VN100”, nó có quyền tự do cực lớn. Agent có thể thử vô số feature, horizon và rule cho đến khi tìm được equity curve đẹp. Nhưng nếu hypothesis được viết cụ thể hơn, chẳng hạn “kiểm tra xem earnings revisions có thêm predictive information sau khi kiểm soát Momentum hay không”, search space nhỏ hơn và kết quả cũng dễ diễn giải hơn. AI vẫn có thể thử nhiều cách triển khai để kiểm tra robustness, nhưng nó không còn được tự do thay đổi toàn bộ câu hỏi cho đến khi tìm thấy một answer có Sharpe cao.

Vì vậy, nếu xây một Quant Research Gate, bước đầu tiên nên xuất hiện trước khi backtest chạy. Hypothesis phải được lưu lại: cơ chế kinh tế là gì, dữ liệu nào được phép sử dụng, target nào sẽ dự báo, universe nào được nghiên cứu và metric chính nào quyết định pass/fail. Việc này nghe có vẻ hành chính nhưng lại rất quan trọng khi AI có thể sinh hàng trăm experiment. Nếu không lưu hypothesis ban đầu, sau vài trăm lần thử rất khó biết strategy cuối cùng là kết quả của một ý tưởng có trước hay chỉ là pattern được đào ra từ lịch sử.

Sau đó mới tới data gate. Một model Sharpe 2.0 sử dụng dữ liệu sai timestamp nên bị loại ngay, bất kể performance đẹp tới đâu. Fundamental phải point-in-time, index membership phải đúng lịch sử, analyst estimates phải có snapshot thực tế, corporate actions phải được điều chỉnh và những feature không có tại thời điểm giao dịch không được xuất hiện trong model. Nếu strategy cần alternative data, ngoài predictive power còn phải đánh giá độ ổn định của provider, lịch sử dữ liệu, độ trễ và khả năng tiếp tục cung cấp. CFM cũng nhấn mạnh việc vet một dataset mới bắt đầu từ sourcing, chất lượng nhà cung cấp và kiểm tra dữ liệu trước khi đi sâu vào alpha research.

Statistical gate là chỗ một lượng lớn strategy nên bị loại. Không chỉ nhìn Sharpe mà phải xem out-of-sample, parameter stability, multiple testing, performance theo regime và mức độ phụ thuộc vào vài observation đặc biệt. Harvey, Liu và Zhu từng chỉ ra rằng khi hàng trăm factor đã được thử trong asset pricing, ngưỡng thống kê thông thường như t-statistic quanh 2 không còn đủ nghiêm; càng có nhiều hypothesis được khai thác, hurdle cho một “discovery” mới phải cao hơn. AI về bản chất làm vấn đề này trở nên rõ hơn: nếu một agent có thể tạo hàng nghìn candidate factors, mỗi factor không thể được đánh giá như thể nó là hypothesis đầu tiên từng được thử.

Nhưng qua được statistical gate vẫn chưa đủ. Economic gate phải kiểm tra strategy kiếm tiền bằng cơ chế nào và còn bao nhiêu sau chi phí. Nếu signal tốt chỉ vì overweight Banking đúng giai đoạn Banking outperform, cần biết đó là stock-selection alpha hay sector allocation. Nếu strategy có gross Sharpe cao nhưng turnover 400% mỗi tháng, cần biết net Sharpe sau spread và slippage. Nếu alpha tập trung vào những cổ phiếu chỉ giao dịch vài tỷ đồng mỗi ngày, capacity phải được đánh giá trước khi gọi strategy đó là production-ready.

Tiếp đến là portfolio gate. Đây là nơi nhiều strategy có standalone backtest đẹp nhưng vẫn nên bị loại. Giả sử portfolio hiện tại đã có ba signal Momentum. AI tìm thêm một Momentum strategy Sharpe 1.6 nhưng correlation rất cao với cả ba. Thêm strategy đó có thể làm dashboard có thêm một dòng alpha nhưng danh mục gần như không diversified hơn. Ngược lại, một model Sharpe chỉ 0.9 nhưng correlation thấp và giảm drawdown trong những giai đoạn reversal có thể có incremental value lớn hơn. Research Gate cần đánh giá marginal contribution, không chỉ standalone performance.

Operational gate cũng cần có trước production. Strategy có thể tái lập từ đầu bằng code và dữ liệu versioned không? Nếu chạy lại hôm nay có ra đúng kết quả cũ không? Feature nào bị missing thì hệ thống làm gì? Nếu data feed chậm thì strategy dừng hay dùng snapshot cũ? Một model phụ thuộc vào file Excel researcher tự sửa tay không nên được xem ngang một pipeline có lineage rõ ràng chỉ vì Sharpe giống nhau. Trong systematic investing, reproducibility là một phần của model quality.

PHẦN 3. LỢI THẾ CÓ THỂ NẰM Ở KHẢ NĂNG NÓI “KHÔNG” VỚI MODEL, KHÔNG PHẢI KHẢ NĂNG TẠO THÊM MODEL

Nếu áp dụng cách này cho một hệ thống ranking cổ phiếu Việt Nam, mỗi candidate strategy nên có một hồ sơ sống cùng nó từ lúc được tạo ra. Hồ sơ không chỉ chứa tên model và Sharpe mà phải lưu hypothesis gốc, version dữ liệu, feature definitions, timestamp policy, universe, số lần parameter đã thử, kết quả walk-forward, turnover, transaction cost, factor exposures và correlation với portfolio hiện tại. AI rất phù hợp để tự động hóa việc tạo hồ sơ này vì chính agent đã biết mình vừa thử những gì. Điều quan trọng là hệ thống phải lưu cả thất bại chứ không chỉ lưu winner.

Trial history đặc biệt quan trọng. Nếu AI đã thử 300 biến thể của cùng một hypothesis, strategy chiến thắng phải mang theo thông tin rằng nó là winner của 300 trials. Không thể reset lịch sử rồi trình bày model cuối cùng như một experiment duy nhất. Khi số lượng trial được ghi nhận đầy đủ, các công cụ như Deflated Sharpe Ratio hoặc những multiple-testing adjustment mới có ý nghĩa hơn. Nếu những strategy thất bại bị xóa khỏi database, chính input quan trọng để đánh giá selection bias cũng bị mất.

Final holdout cũng cần được bảo vệ ở cấp hệ thống chứ không chỉ bằng kỷ luật cá nhân. Một researcher hoặc agent không nên được phép nhìn liên tục vào final test rồi sửa strategy. Có thể tách research environment khỏi validation environment: agent chỉ nhận pass/fail hoặc một lượng thông tin hạn chế trong giai đoạn development, còn final dataset chỉ được chạy khi strategy đã khóa. Nếu mở final holdout mười lần và mỗi lần đều sửa model, nó đã trở thành validation set dù tên folder vẫn ghi “test”.

Sau final validation, mình vẫn chưa muốn đưa strategy trực tiếp vào vốn thật. Một giai đoạn shadow trading rất hữu ích: model chạy cùng production schedule, nhận đúng data feed, tạo đúng order, ghi lại expected fill và theo dõi P&L nhưng chưa cấp vốn hoặc chỉ cấp một lượng rất nhỏ. Chỗ này thường phát hiện những vấn đề backtest không thể nhìn thấy: dữ liệu đến muộn, symbol mapping lỗi, corporate action chưa cập nhật, spread rộng hơn giả định hoặc signal biến động mạnh khi chạy real-time.

Khi strategy cuối cùng được đưa vào portfolio, selection cũng chưa kết thúc. Live performance phải được so với distribution mà backtest dự kiến chứ không phải chỉ nhìn P&L dương hay âm. Nếu Rank IC giảm nhưng vẫn nằm trong phạm vi bình thường, chưa chắc strategy hỏng. Nếu turnover tăng gấp ba vì cấu trúc thị trường thay đổi, hoặc correlation với những alpha khác tăng mạnh, strategy có thể cần review dù P&L chưa âm. Model monitoring vì thế phải theo dõi cả prediction quality, portfolio behavior và data quality.

Human judgement vẫn có vai trò ở đây, nhưng không phải để một senior PM “cảm thấy model này có vẻ ổn”. Giá trị của con người nằm ở việc đánh giá những thứ khó encode hoàn toàn thành metric: cơ chế kinh tế có hợp lý không, data có nguy cơ bị arbitraged nhanh không, crowding có đang tăng không, capacity có phù hợp với lượng vốn dự kiến không và strategy có tạo một loại rủi ro mà portfolio hiện chưa nhìn thấy không. CFM cũng nói khá rõ rằng AI được họ xem là công cụ nâng productivity và reliability, trong khi human oversight vẫn là phần quan trọng của cả research lẫn technology process.

Điều mình thấy đáng chú ý nhất của AI Quant không phải khả năng tạo ra một strategy mới trong vài phút. Computer đã có thể brute-force hàng triệu parameter từ rất lâu. Sự khác biệt bây giờ là AI có thể tham gia cả vào ideation, coding, debugging, interpretation rồi tự tạo hypothesis tiếp theo. Nếu không có research governance tốt, vòng lặp đó có thể trở thành một cỗ máy overfit cực kỳ hiệu quả.

Vì vậy một Quant platform tốt trong thời đại AI có thể sẽ đo productivity theo cách khác. Không phải “tuần này agent sinh được bao nhiêu strategy”, mà là bao nhiêu hypothesis được kiểm tra đúng, bao nhiêu false positive bị chặn trước production, bao nhiêu signal mới thực sự bổ sung information cho portfolio và bao nhiêu kết quả có thể tái lập sau vài tháng.

Khi chi phí sinh model tiến gần về 0, model trở nên rẻ nhưng bằng chứng trở nên đắt.