Kiểm định hoán vị xáo trộn ngẫu nhiên tín hiệu (hoặc lợi nhuận) của chiến lược hàng nghìn lần để tạo phân phối kết quả "không có kỹ năng", rồi so kết quả thật với phân phối đó. Tỷ lệ phiên bản ngẫu nhiên tốt bằng hoặc hơn kết quả thật là ước lượng p-value.
Định nghĩa đầy đủ
Kiểm định hoán vị là phương pháp thống kê không tham số, kiểm tra giả thuyết không rằng kết quả của chiến lược không khác kết quả ngẫu nhiên, bằng cách lặp lại việc hoán vị dữ liệu theo cách phá vỡ quan hệ tín hiệu–lợi nhuận và đo tần suất kết quả hoán vị vượt kết quả thật.
Lưu ý rủi ro: Nội dung mang tính giáo dục về phương pháp kiểm định, không phải tư vấn đầu tư. p-value thấp không bảo đảm chiến lược có lãi khi giao dịch thật. Hợp đồng tương lai dùng đòn bẩy nên lãi và lỗ đều bị khuếch đại.
Những điều cần nhớ
- p-value ước lượng = số hoán vị có kết quả ≥ kết quả thật ÷ tổng số hoán vị
- Hoán vị phải phá quan hệ tín hiệu–lợi nhuận nhưng giữ các cấu trúc cần thiết của dữ liệu
- p-value thấp không chứng minh chiến lược sẽ hiệu quả trên dữ liệu tương lai
- Khi đã thử nhiều biến thể, cần hoán vị cả quy trình chọn biến thể
Giả thuyết không và ý tưởng hoán vị
Mọi backtest có lãi đều gợi ra một câu hỏi: kết quả này đến từ quy tắc của chiến lược, hay chỉ là may mắn trên đúng đoạn dữ liệu đó? Kiểm định hoán vị trả lời bằng cách xây một "thế giới không có kỹ năng" để so sánh.
Giả thuyết không (H0): tín hiệu của chiến lược không mang thông tin về lợi nhuận tương lai — nếu gán tín hiệu cho các thời điểm khác một cách ngẫu nhiên, kết quả cũng tương tự.
Nếu H0 đúng, xáo trộn thứ tự tín hiệu không làm kết quả tệ đi một cách hệ thống. Nếu hàng nghìn phiên bản xáo trộn gần như đều thua kết quả thật, H0 trở nên khó tin — tín hiệu có vẻ mang thông tin.
Ưu điểm của cách tiếp cận này là không cần giả định lợi nhuận tuân theo phân phối chuẩn hay bất kỳ phân phối nào — phân phối so sánh được xây trực tiếp từ dữ liệu.
Các bước thực hiện
- Chạy chiến lược trên dữ liệu thật, ghi lại một thống kê kết quả T_thật — ví dụ tổng lợi nhuận sau chi phí, lợi nhuận trung bình mỗi lệnh, hoặc Sharpe.
- Chọn cách hoán vị phá vỡ quan hệ cần kiểm định (xem phần sau).
- Lặp lại M lần (thường vài nghìn): hoán vị, chạy lại, ghi thống kê T_i.
- Đếm số lần T_i ≥ T_thật.
- Ước lượng p-value = (số lần đếm được + 1) ÷ (M + 1). Cộng 1 ở tử và mẫu là quy ước thận trọng để p-value không bao giờ bằng 0.
Ví dụ minh họa (số giả định): chạy 1.000 hoán vị, có 38 phiên bản cho tổng lợi nhuận bằng hoặc cao hơn kết quả thật. p-value ≈ (38 + 1) ÷ (1.000 + 1) ≈ 0,039. Nói cách khác, khoảng 4% "chiến lược không có kỹ năng" đạt kết quả tốt ngang hoặc hơn.
| Khoảng tổng lợi nhuận của hoán vị (điểm, giả lập) | Số hoán vị |
|---|---|
| Dưới −60 | 62 |
| −60 đến −20 | 238 |
| −20 đến 20 | 400 |
| 20 đến 60 | 212 |
| 60 đến 100 | 50 |
| Từ 100 trở lên (≥ kết quả thật 100) | 38 |
Số liệu giả lập minh họa hình dạng phân phối, khớp ví dụ trên: 38 hoán vị ≥ kết quả thật 100 điểm, p ≈ 0,039. Không phải kết quả chiến lược thật.
Xáo trộn gì: tín hiệu, lợi nhuận hay khối nến
Cách hoán vị quyết định giả thuyết đang được kiểm định. Ba lựa chọn phổ biến:
- Xáo trộn tín hiệu: giữ nguyên chuỗi lợi nhuận thị trường, hoán vị thứ tự các vị thế (LONG, SHORT, không vị thế) của chiến lược. Kiểm định câu hỏi: thời điểm mở vị thế có mang thông tin không. Giữ được tỷ lệ LONG/SHORT và số lệnh.
- Xáo trộn lợi nhuận thị trường: hoán vị thứ tự lợi nhuận ngày (hoặc phút) của thị trường rồi chạy lại toàn bộ chiến lược. Phá vỡ mọi cấu trúc thời gian như xu hướng, cụm biến động — phù hợp để hỏi chiến lược có khai thác cấu trúc thời gian nào không.
- Xáo trộn theo khối: hoán vị các khối nhiều phiên liên tiếp thay vì từng phiên, để giữ cấu trúc ngắn hạn như cụm biến động trong khi vẫn phá quan hệ dài hạn.
Không có cách "đúng" duy nhất. Một chiến lược có thể vượt qua kiểm định xáo trộn tín hiệu nhưng thất bại với xáo trộn lợi nhuận, hoặc ngược lại — mỗi kết quả trả lời một câu hỏi khác nhau.
Đọc p-value và các giới hạn
p-value là xác suất (ước lượng) để một phiên bản không có kỹ năng đạt kết quả tốt ngang hoặc hơn, nếu H0 đúng. Nó không phải:
- Xác suất chiến lược "đúng" hay "sai".
- Xác suất chiến lược có lãi trong tương lai.
- Thước đo độ lớn của lợi nhuận.
Các giới hạn cần nhớ:
- Cỡ mẫu: với ít lệnh, phân phối hoán vị rộng và kết quả thật khó nổi bật dù chiến lược có thông tin thật — xem bài cỡ mẫu và ý nghĩa thống kê trong kiểm định và định nghĩa ngắn tại cỡ mẫu và ý nghĩa thống kê.
- Không thay thế kiểm tra ngoài mẫu: hoán vị trên dữ liệu trong mẫu vẫn chạy trên đúng dữ liệu đã dùng để thiết kế. Cần kết hợp với chia dữ liệu trong mẫu và ngoài mẫu và forward test.
- Số lần hoán vị: muốn phân biệt p = 0,01 với p = 0,02, cần đủ nhiều hoán vị; vài trăm lần là quá ít.
Kiểm định hoán vị khác Monte Carlo thế nào
Hai phương pháp đều dùng xáo trộn ngẫu nhiên, nên hay bị nhầm:
| Tiêu chí | Kiểm định hoán vị | Mô phỏng Monte Carlo chuỗi lợi nhuận |
|---|---|---|
| Câu hỏi | Kết quả có khác ngẫu nhiên không? | Kết quả có thể dao động trong khoảng nào? |
| Xáo trộn cái gì | Phá quan hệ tín hiệu–lợi nhuận | Thứ tự các lệnh của chính chiến lược |
| Đầu ra | p-value | Dải drawdown, dải lợi nhuận |
| Giả định | Chiến lược có thể không có kỹ năng | Chấp nhận các lệnh là đại diện |
Monte Carlo xáo trộn các lệnh đã có để xem drawdown có thể sâu tới đâu nếu thứ tự khác đi — phân tích trong bài mô phỏng Monte Carlo chuỗi lợi nhuận chiến lược. Hoán vị đặt câu hỏi nền tảng hơn: các lệnh đó có đến từ quy tắc có thông tin hay không.
Hoán vị khi đã thử nhiều tham số
Nếu kết quả thật là biến thể tốt nhất trong 50 biến thể đã thử, so nó với phân phối hoán vị của một biến thể là không công bằng — biến thể tốt nhất luôn có lợi thế chọn lọc. Cách sửa: trong mỗi lần hoán vị, chạy lại toàn bộ quy trình chọn (thử cả 50 biến thể, lấy biến thể tốt nhất), rồi dùng kết quả tốt nhất đó làm T_i.
Cách này tốn tính toán hơn nhiều, nhưng là cách trung thực để đưa thiên lệch dò nhiều tham số vào p-value. Bỏ qua bước này, p-value sẽ thấp hơn thực tế đáng kể.
Câu hỏi thường gặp
Kiểm định hoán vị khác mô phỏng Monte Carlo thế nào?
Kiểm định hoán vị hỏi kết quả chiến lược có khác kết quả ngẫu nhiên không, bằng cách phá quan hệ giữa tín hiệu và lợi nhuận. Monte Carlo chuỗi lợi nhuận hỏi kết quả có thể dao động trong khoảng nào, bằng cách xáo trộn thứ tự các lệnh đã có. Một phương pháp cho p-value, phương pháp kia cho dải drawdown và lợi nhuận.
Bao nhiêu lần hoán vị là đủ?
Thường vài nghìn lần là điểm khởi đầu hợp lý. Số lần cần thiết tăng khi muốn ước lượng p-value nhỏ chính xác hơn: để phân biệt p khoảng 0,01 với 0,02, vài trăm lần hoán vị cho sai số quá lớn. Nếu mỗi lần chạy nhanh, có thể tăng lên hàng chục nghìn lần.
p-value 0,05 trong backtest có nghĩa là gì?
Nghĩa là, nếu tín hiệu thực sự không mang thông tin, khoảng 5% phiên bản ngẫu nhiên đạt kết quả tốt bằng hoặc hơn kết quả thật. Nó không có nghĩa chiến lược có 95% khả năng đúng, cũng không cho biết lợi nhuận tương lai lớn hay nhỏ. Cần đọc cùng số biến thể đã thử và kết quả ngoài mẫu.
Kiểm định hoán vị có phát hiện được overfitting không?
Một phần. Nếu chạy hoán vị cho cả quy trình chọn tham số, nó phản ánh được lợi thế chọn lọc từ việc thử nhiều biến thể. Tuy nhiên, nó vẫn chạy trên dữ liệu đã dùng để thiết kế, nên không thay thế kiểm tra ngoài mẫu, walk-forward hay forward test trên dữ liệu mới.
Nên xáo trộn tín hiệu hay xáo trộn lợi nhuận?
Tùy câu hỏi cần kiểm định. Xáo trộn tín hiệu kiểm tra thời điểm mở vị thế có mang thông tin không, giữ nguyên thị trường. Xáo trộn lợi nhuận kiểm tra chiến lược có khai thác cấu trúc thời gian nào của thị trường không. Chạy cả hai và so sánh thường cho hiểu biết đầy đủ hơn một cách đơn lẻ.
Nguồn tham khảo
- Tài liệu thống kê về kiểm định hoán vị (giáo trình hoặc tạp chí uy tín)
Số lần hoán vị và phân phối trong bài là số giả lập minh họa, không phải kết quả chiến lược thật.
Lưu ý rủi ro: Bài viết trình bày phương pháp thống kê, không trình bày p-value như bảo đảm hiệu quả. Chứng khoán phái sinh dùng đòn bẩy — lãi và lỗ đều được khuếch đại.
Kết quả đẹp có thể chỉ là may mắn — đăng ký bản tin Stockup để nhận các phương pháp kiểm định thống kê tiếp theo.
Tuan Nguyen
Founder
18+ năm xây dựng sản phẩm Web, SaaS, FinTech và Blockchain — hơn 120 dự án thực tế, kết hợp kinh nghiệm đầu tư chứng khoán và phát triển hệ thống phân tích, giao dịch tài chính.
