แม้แต่วิธีคัดเลือกโมเดลระดับวิชาการก็ทนการทดสอบหลายครั้งไม่ไหว

หน้านี้สั้นแต่เป็นรากของทั้งหมวด — ผู้เขียนคนหนึ่งเป็นชื่อที่ถูกอ้างถึงมากที่สุดในเรื่องนี้ และข้อความหลักของงานนี้เป็นข้อความที่ทำให้ทางลัดที่เราอาจอยากใช้ถูกปิดไปเลย

1. นิยามที่ควรจำให้แม่น

backtest overfitting คือความน่าจะเป็นที่เราจะเลือกกลยุทธ์ซึ่งทำผลงานดีตอนทดสอบย้อนหลัง แต่ทำผลงานแย่ตอนใช้จริง

สังเกตว่ามันเป็นความน่าจะเป็น ไม่ใช่ข้อกล่าวหา — ไม่มีใครบอกได้ว่ากลยุทธ์หนึ่งๆ overfit หรือไม่ บอกได้แค่ว่ากระบวนการที่เราใช้เลือกมันมีโอกาสพาไปผิดทางแค่ไหน

นั่นเปลี่ยนคำถามจาก กลยุทธ์นี้ดีไหม เป็น กระบวนการที่ทำให้เราเลือกกลยุทธ์นี้ เชื่อถือได้แค่ไหน

2. สิ่งที่ทดสอบ และสิ่งที่พบ

ผู้เขียนหยิบวิธีคัดเลือกโมเดลที่ได้รับการยอมรับในวรรณกรรมทางสถิติ มาทดสอบในโจทย์กลยุทธ์เทรดที่ใช้การเรียนรู้ของเครื่องแบบเรียบง่าย

ผลที่ได้มีสองข้อ

1. วิธีนั้นไม่ทนต่อการทดสอบหลายครั้ง
2. มันต้องการอัตราส่วนสัญญาณต่อสัญญาณรบกวนที่สูงมากจึงจะใช้งานได้

3. ⭐ ทำไมข้อสองถึงเป็นข้อที่โหดที่สุด

ข้อมูลตลาดการเงินมีชื่อเสียงเรื่องอัตราส่วนสัญญาณต่อสัญญาณรบกวนที่ต่ำมาก — การเคลื่อนไหวส่วนใหญ่คือเสียง และส่วนที่เป็นสัญญาณจริงมีน้อย

ถ้าวิธีที่ดีที่สุดในวรรณกรรมต้องการสัญญาณที่ชัดกว่านั้นมากถึงจะทำงานได้ แปลว่า ในสภาพข้อมูลจริงของเรา มันก็ยังพาไปผิดทางได้

และนี่คือข้อความที่ปิดทางลัด — เวลาเราเจอปัญหาว่าทดสอบหลายช่องแล้วบางช่องดูดี สัญชาตญาณคือไปหาวิธีทางสถิติที่ฉลาดกว่ามาแก้ งานนี้บอกว่าทางนั้นไม่ได้พาไปไหน

4. แล้วเหลืออะไรให้ทำ

ถ้าเครื่องมือแก้ไม่ได้ สิ่งที่เหลือคือการเปลี่ยนกระบวนการ

1. ลดจำนวนครั้งที่ทดสอบ — ทดสอบสิบสมมติฐานที่มีเหตุผลรองรับ ดีกว่ากวาดพารามิเตอร์พันชุด
2. ประกาศสมมติฐานก่อนดูข้อมูล ซึ่งเป็นสิ่งที่งานหักล้างเรื่องกำแพง GEXทำ และงานสร้างเครื่องตัดสินทำ
3. นับทุกครั้งที่ดูผล ตามที่งานตรวจสอบเปเปอร์โมเมนตัมแสดงให้เห็นว่ามันเปลี่ยนข้อสรุปได้มากแค่ไหน
4. ต้องการกลไกที่อธิบายได้ ไม่ใช่แค่ตัวเลขที่สวย — ซึ่งเป็นกฎที่เราตั้งไว้เองตั้งแต่บทความแรกของคลัง

5. ⚠ อ่านอย่างระแวง

• เป็นเปเปอร์ทำงานจากปี 2017–18 ยังไม่ผ่าน peer review แม้ผู้เขียนจะมีชื่อเสียงสูงในสาขานี้
• ทดสอบกับโจทย์กลยุทธ์แบบเรียบง่ายหนึ่งแบบ ข้อสรุปว่าวิธีนั้นใช้ไม่ได้ในบริบทนั้น ไม่ได้แปลว่าใช้ไม่ได้ในทุกบริบท
• ผู้เขียนคนหนึ่งมีผลประโยชน์ทางอ้อมในการชูประเด็นนี้ เพราะเป็นผู้เสนอเครื่องมือทางเลือกในงานอื่นของตัวเอง — ซึ่งไม่ได้ทำให้ข้อค้นพบผิด แต่ผู้อ่านควรรู้
• งานนี้บอกว่าอะไรใช้ไม่ได้ มากกว่าจะบอกว่าอะไรใช้ได้ ซึ่งมีค่าในตัวเอง แต่ไม่ใช่คู่มือ

6. สิ่งที่หน้านี้กำหนดให้เครื่องมือของเรา

เครื่องมือวัดที่เรากำลังจะสร้าง โดยธรรมชาติของมันคือเครื่องคัดเลือกโมเดล — มันจะแสดงหลายช่องแล้วเราจะมองหาช่องที่ดูดี ซึ่งคือการคัดเลือกโมเดลนั่นเอง

ดังนั้นคำเตือนของงานนี้ใช้กับเราเต็มๆ และข้อกำหนดที่ตามมาคือ

• จำนวนช่องต้องน้อยและมาจากเหตุผล ไม่ใช่จากการกวาด
• ต้องมีเกณฑ์จำนวนตัวอย่างขั้นต่ำที่ตั้งไว้ก่อน และช่องที่ไม่ถึงเกณฑ์ต้องถูกทำให้จางจนอ่านไม่ได้ ไม่ใช่แค่แสดงตัวเลขเล็กๆ ไว้
• ต้องมีกลุ่มเทียบแบบสุ่ม เพื่อให้รู้ว่าช่องที่ดูดีนั้นดีกว่าความบังเอิญจริงหรือไม่
• ต้องยอมรับว่าเครื่องมือนี้อาจบอกเราว่าไม่มีอะไรเลย และนั่นคือคำตอบที่ถูกต้อง ไม่ใช่ความล้มเหลวของเครื่องมือ

7. ตั้งคำถามกับเปเปอร์นี้ — และคำตอบว่าทำไม

ทำไมวิธีเลือกโมเดลที่ดีที่สุดในสถิติถึงล้มในการเงิน — เพราะมันถูกออกแบบสำหรับปัญหาที่มีโมเดลถูกอยู่ในชุด และสัญญาณแรงพอให้แยก · การเงินไม่รับประกันข้อแรก (อาจไม่มีโมเดลถูกเลย) และไม่มีข้อสอง (SNR ต่ำ) · MCS จะ “เลือก” อะไรสักอย่างเสมอ — แม้ทุกตัวเลือกคือศูนย์

ทำไม “ลดจำนวนครั้ง” ถึงเป็นทางออกเดียว ไม่ใช่ “แก้สถิติให้ฉลาดขึ้น” — เพราะทุกวิธีปรับแก้ multiple testing ต้องแลกด้วยกำลังทดสอบ · ที่ SNR ของตลาด กำลังทดสอบที่เหลือหลังปรับ 1,000 ครั้งคือศูนย์ — จะตรวจไม่พบแม้ขอบจริงมีอยู่ · ทางเดียวที่รักษากำลังคือทดสอบน้อยครั้ง = ต้องมีเหตุผลก่อนทดสอบ

ทำไมเราถึงยังทดสอบ 1,029 ชุด ทั้งที่รู้ข้อนี้ — เพราะชุดเหล่านั้นเป็นการแจกแจงพารามิเตอร์ที่เจ้าของชาร์ตใช้จริง ไม่ใช่การกวาดหาค่าที่ดี · เป้าหมายคือปฏิเสธ (ทุกชุดของคุณไม่ผ่าน) ไม่ใช่เลือก (ชุดนี้ดีที่สุด) · การปฏิเสธไม่เสียกำลังจาก multiple testing — การเลือกเสีย

8. ที่มาของเนื้อหา — ใครพูด และมีอะไรจะขาย

ใครเขียน	Diego Aparicio (MIT) · Marcos López de Prado — ผู้เขียน Advances in Financial ML ชื่อที่ถูกอ้างถึงมากที่สุดเรื่อง backtest overfitting · SSRN 2017–18
ทำอะไร	ทดสอบ Model Confidence Set (Hansen et al.) ในโจทย์กลยุทธ์ ML แบบเรียบง่าย
ที่ไหน	ข้อมูลจำลอง + กลยุทธ์ตัวอย่าง
อย่างไร	วัดว่า MCS เลือกถูกบ่อยแค่ไหนภายใต้ multiple testing และ SNR ต่ำ
หลักฐาน	MCS ไม่ทน multiple testing · ต้องการ SNR สูงมาก
แรงจูงใจ	วิชาการ · ผู้เขียนคนหนึ่งเสนอเครื่องมือทางเลือก (PBO/DSR) ในงานอื่น

9. ใคร ทำอะไร ที่ไหน อย่างไร — ถอดเหตุการณ์ในตลาดจากบทเรียนนี้

เปเปอร์นี้พูดถึงตัวละครที่ไม่ได้อยู่ในตลาด — เครื่องมือทางสถิติที่เราหวังจะใช้แก้ปัญหาการทดสอบหลายครั้ง

ใคร/อะไร	ทำอะไร — และถูกบังคับด้วยอะไร	ที่ไหน	อย่างไร (กลไก)
Model Confidence Set	คัดโมเดลที่ดีที่สุดออกจากกอง	โจทย์กลยุทธ์ ML แบบเรียบง่าย	ไม่ทนต่อการทดสอบหลายครั้ง และ ต้องการ SNR สูงมาก
ข้อมูลตลาดการเงิน	มี SNR ต่ำที่สุดในบรรดาข้อมูลทั้งหมด	ทุกตลาด	การเคลื่อนไหวส่วนใหญ่คือเสียง → วิธีที่ดีที่สุดในวรรณกรรมก็ยังพาไปผิดทาง
คนที่กวาดพารามิเตอร์พันชุด	หวังว่าสถิติที่ฉลาดกว่าจะช่วยได้	—	ทางนั้นไม่พาไปไหน — ทุกวิธีปรับแก้ multiple testing แลกมาด้วยกำลังทดสอบที่หายไป
คนที่ทดสอบสิบสมมติฐานที่มีเหตุผล	ลดจำนวนครั้งตั้งแต่ต้น	—	ทางออกเดียวที่เหลือ — เพราะมันรักษากำลังทดสอบไว้

อ่านเป็นประโยคเดียว — backtest overfitting คือความน่าจะเป็น ไม่ใช่ข้อกล่าวหา · คำถามจึงไม่ใช่ “กลยุทธ์นี้ดีไหม” แต่คือ “กระบวนการที่ทำให้เราเลือกมัน เชื่อถือได้แค่ไหน”

แล้วบนทองคำ — และทำไมเราถึงยังทดสอบพันชุด

• เพราะเราทดสอบเพื่อปฏิเสธ ไม่ใช่เพื่อเลือก — 645 ชุดคือการแจกแจงค่าที่เจ้าของชาร์ตใช้จริง ไม่ใช่การกวาดหาค่าที่ดี · การปฏิเสธไม่เสียกำลังจาก multiple testing การเลือกเสีย
• SNR ของทองที่ M3: ผลตอบแทนต่อไม้ ~0.1R บนส่วนเบี่ยงเบน ~1R → ต้องการ n ~800 ไม้เพื่อ t 2.8 · ชุดของเรามี n 200–1,500 → กำลังทดสอบพอสำหรับขอบ ≥ 0.1R เท่านั้น และขอบเล็กกว่านั้นไม่คุ้มเทรดอยู่แล้วที่ต้นทุน 0.42 bp
• ข้อกำหนดที่หน้านี้ตั้งให้เครื่องมือ ทำครบแล้ว: ช่องน้อยและมาจากเหตุผล · เกณฑ์ n ขั้นต่ำ · กลุ่มเทียบสุ่ม · ยอมรับว่าคำตอบอาจเป็น “ไม่มีอะไรเลย”
• วิธีอ่านตารางผลของเรา: อ่านว่า “ทั้งตารางว่างเปล่า” ไม่ใช่ “ช่องนี้เขียว” — ช่องที่ดูดีที่สุดจาก N ชุดไม่ใช่เบาะแสจนกว่าจะผ่านเกณฑ์

10. การวิเคราะห์ — ข้อกำหนดของหัวข้อ 6 อยู่ตรงไหน

ข้อกำหนด	สถานะ
ช่องน้อยและมาจากเหตุผล	งานหลัง ก.ย. 2026 ใช้ 8–48 ชุด (ยกเว้น 645 ที่เป็นการแจกแจงค่าของเจ้าของชาร์ต)
เกณฑ์ตัวอย่างขั้นต่ำ	ทุกงานรายงาน n และตัดชุดที่ n < 100 ออกจากการตัดสิน
กลุ่มเทียบสุ่ม	ทุกงาน — ควบคุมสุ่มจับคู่ + เส้นปลอม
ยอมรับผลว่าง	0 ผ่านทุกงาน · เผยแพร่ทุกงาน

• “เครื่องมือวัดคือเครื่องคัดเลือกโมเดล” — ตรงกับสิ่งที่เกิด: ชุด buy·Daily·REJ t 2.24 7/8 ปี ในตามเทรนด์ที่ VWAP คือ “ช่องที่ดูดี” ที่ MCS จะเลือก · เกณฑ์ √(2 ln 48) = 2.78 ปฏิเสธ · เกณฑ์สะสม 3.7 ตอนเขียน (3.80 ณ 21 ก.ย. 2026) ปฏิเสธชัดกว่า
• SNR ของทองที่ M3: ผลตอบแทนต่อไม้ ~0.1R บนส่วนเบี่ยงเบน ~1R = SNR 0.1 · ต้องการ n ~ 800 ไม้เพื่อ t 2.8 — ชุดส่วนใหญ่มี n 200–1,500 · กำลังทดสอบพอสำหรับขอบ ≥ 0.1R เท่านั้น · ขอบเล็กกว่านั้นตรวจไม่พบและไม่คุ้มเทรดอยู่แล้วที่ต้นทุน 0.42 bp

11. นำไปใช้กับ XAUUSD

• สมมติฐานใหม่ต้องมี “ทำไม” ก่อน “ทดสอบ” — เป็นกฎประจำ (findings → why)
• ชุดที่ดีที่สุดจากตารางไม่ใช่เบาะแส จนกว่าจะผ่านเกณฑ์ N — และผู้อ่านหน้างานวิจัยควรอ่านตารางแบบ “ทั้งตารางว่างเปล่า” ไม่ใช่ “ช่องนี้เขียว”
• ขอบที่คุ้มเทรดในทอง ≥ 0.1R หลังต้นทุน — เล็กกว่านั้นตรวจไม่พบด้วยข้อมูล 8 ปี และไม่คุ้มอยู่ดี

12. สรุป

เปเปอร์ที่ปิดทางลัด “หาสถิติฉลาดกว่ามาแก้” — และเราไม่ได้ใช้ทางลัดนั้น: ทดสอบเพื่อปฏิเสธ ไม่ใช่เพื่อเลือก · เกณฑ์ตามจำนวนครั้ง · ชุดที่ดูดีถูกปฏิเสธด้วยเกณฑ์ที่ตั้งก่อน · และรู้ว่าขอบที่เล็กกว่า 0.1R อยู่ใต้ทั้งกำลังทดสอบและต้นทุน