M11 การวิจัยและการตรวจสอบ

ทำไมโมดูลนี้ปิดหลักสูตร — ทุกอย่างที่เรียนมาสามารถถูกทำให้ “ดูเหมือนได้ผล” บนข้อมูลย้อนหลังได้ทั้งนั้น ถ้าตั้งใจพอ โมดูลนี้สอนวิธีแยกสิ่งที่ได้ผลจริงออกจากสิ่งที่ถูกปรับให้เข้ากับอดีต และเปิดคลังความล้มเหลวของผู้เขียนเอง — สามระบบที่กำไรในการทดสอบ และถูกปฏิเสธทั้งหมดเมื่อทดสอบอย่างซื่อสัตย์

คำศัพท์ที่ต้องรู้ก่อน

Backtest

การรันกฎการเทรดบนข้อมูลอดีต แล้วดูว่าถ้าทำตามกฎนั้นจะได้ผลอย่างไร

In-sample (IS)

ข้อมูลที่ใช้สร้างและปรับกฎ — ผลลัพธ์บนข้อมูลนี้ไม่มีความหมาย เพราะกฎถูกทำให้เข้ากับมัน

Out-of-sample (OOS)

ข้อมูลที่กฎไม่เคยเห็นตอนสร้าง — ผลลัพธ์บนข้อมูลนี้คือสิ่งเดียวที่ประมาณอนาคตได้

Overfitting (การปรับให้เข้ากับอดีตมากเกินไป)

การปรับพารามิเตอร์จนกฎ "จำ" ความบังเอิญของข้อมูลอดีตแทนที่จะจับ "โครงสร้าง" ที่จะเกิดซ้ำ ยิ่งพารามิเตอร์มาก ยิ่งง่าย

Walk-forward

การทดสอบแบบเลื่อนหน้าต่าง: ปรับกฎบนช่วง A ทดสอบบนช่วง B ที่ถัดไป · แล้วปรับบน A+B ทดสอบบน C · … ผลลัพธ์ที่นับคือผลบนช่วงทดสอบทั้งหมดต่อกัน

Profit Factor (PF)

กำไรรวม ÷ ขาดทุนรวม PF 1.0 = เท่าทุน · 1.3 = ดี · 2.0 = ดีมาก · > 3 บนข้อมูลย้อนหลัง = น่าสงสัยว่า overfit

Parameter sweep

การรันกฎด้วยค่าพารามิเตอร์หลายชุดรอบค่าที่เลือก — ถ้าค่าข้างเคียงให้ผลต่างกันมาก แปลว่าค่าที่เลือกคือความบังเอิญ

Regime dependence

ระบบที่กำไรทั้งหมดมาจากช่วงตลาดแบบเดียว — จะพังเมื่อช่วงนั้นจบ

ทำไม backtest ถึงหลอก — ห้าวิธี

วิธีที่มันหลอก	เกิดอย่างไร	สังเกตได้จาก
1. Overfitting	ปรับพารามิเตอร์ 8 ตัวจนได้ PF 2.5 บนข้อมูล 2 ปี	เปลี่ยนพารามิเตอร์นิดเดียวแล้วผลพัง · OOS แย่กว่า IS มาก
2. Look-ahead bias	กฎใช้ข้อมูลที่ตอนนั้นยังไม่รู้ (เช่น ค่า ATR รายวันของวันเดียวกัน)	ผลดีเกินจริงแบบสม่ำเสมอ · ต้องตรวจโค้ดทีละบรรทัด
3. Survivorship / Selection	เลือกทดสอบเฉพาะช่วงที่รู้ว่าดี หรือเลือกโชว์เฉพาะระบบที่รอด	ไม่มีบันทึกว่าลองอะไรไปแล้วบ้าง
4. ไม่คิดต้นทุน	ทดสอบโดยไม่หัก spread / commission / slippage	ระบบที่กำไร 2 ดอลลาร์ต่อไม้กลายเป็นขาดทุนเมื่อหัก 3.50 (M1)
5. Regime dependence	92% ของกำไรมาจากขาขึ้น 18 เดือน	ดู equity curve ตามปี — ถ้าเป็นเส้นตรงยาวแล้วกระโดดครั้งเดียว ระวัง

ถ้า ระบบให้ PF > 2 บนข้อมูลย้อนหลัง 2 ปีโดยไม่มี OOS แล้ว ให้สันนิษฐานว่ามัน overfit จนกว่าจะพิสูจน์เป็นอื่น เพราะ ด้วยพารามิเตอร์พอสมควร ใครก็สร้างเส้น equity สวยๆ บนอดีตได้ — มันคือการ “จำข้อสอบ” ไม่ใช่การเข้าใจวิชา

Walk-forward — เกณฑ์เดียวที่นับ

ข้อมูล:   |——— 2013 ———|——— 2016 ———|——— 2019 ———|——— 2022 ———|——— 2025 ———|
รอบ 1:    [ปรับ IS ]    [ทดสอบ OOS]
รอบ 2:    [——— ปรับ IS ———]         [ทดสอบ OOS]
รอบ 3:    [———————— ปรับ IS ————————]           [ทดสอบ OOS]
ผลที่นับ:               [OOS 1]   +  [OOS 2]   +   [OOS 3]   → ต่อกันเป็นเส้นเดียว

เกณฑ์ผ่านห้าด่านที่หลักสูตรนี้ใช้กับทุกระบบ:

1. PF บน OOS ต่อกัน > 1.1 (หลังหักต้นทุนจริง)
2. OOS ไม่แย่กว่า IS เกิน ~40% (ถ้า IS 1.5 แต่ OOS 0.9 = overfit)
3. Parameter sweep: ค่าข้างเคียง ±20% ยังกำไร
4. กำไรไม่ได้มาจากปีเดียวหรือระบอบเดียว
5. ผลไม่พลิกเครื่องหมายเมื่อเปลี่ยนฟีดราคา (M1)

ถ้า ผ่านครบห้าด่าน แล้ว ไปทดสอบเดโมแบบเดินหน้า (forward demo) 2–3 เดือนก่อนเงินจริง เพราะ walk-forward ยังเป็นอดีต — ตลาดสดคือ OOS ที่แท้จริง

คลังกรณีศึกษาจริง — ห้าระบบของผู้เขียน

นี่คือส่วนที่มีค่าที่สุดของโมดูล และเป็นสิ่งที่คอร์สเทรดทั่วไปไม่เคยแสดง: ระบบที่ล้มเหลว พร้อมเหตุผล

ระบบ	กรอบเวลา	ผล IS	ผล OOS	คำตัดสิน	บทเรียน
DeskTrend_H4 — EMA50 + YZ-breakout + Chandelier 3×ATR22, ขนาดตามความผันผวน 0.75%	H4	PF 1.31	PF 1.13	✅ ผ่าน 5 ด่าน (ระบบเดียวที่ผ่านหลายชั้น)	เป็นระบบตามเทรนด์แบบตำรา CTA: บางในตลาดแกว่ง ระเบิดในเทรนด์ · ~92% ของกำไรมาจากขาขึ้น 2024–26 = พึ่งพาระบอบ ยังต้อง cost-stress และ forward demo
GexCluster_Retest — limit ที่ C1/C5 cluster ตามทิศ regime, SL 7 / TP 14	M5	—	PF 1.09	✅ ผ่าน 4/5 ด่าน	ระบบแรกจากตระกูลอินดิเคเตอร์ที่ผ่าน OOS — บาง แต่ทนทาน edge อยู่ที่ระดับ ไม่ใช่ตัวชี้
ScalperVBubble — scalp M5 จาก volume bubbles	M5	PF 1.2	PF 0.6–0.7	❌ ปฏิเสธ	พลิกเครื่องหมายเมื่อเปลี่ยนฟีดของโบรกเกอร์เดียวกัน = ปรับให้เข้ากับระบอบต้นปี 2025 · ตัวตัดขาดทุนอัตโนมัติทำให้แย่ลง เพราะระบบต้องอยู่ในตลาดเพื่อจับช่วงฟื้น · ตัวกรอง Kaufman ER ไม่รู้ทิศ ปล่อยเทรนด์สวนผ่าน
ExhaustionFade_MAOsc — สวนเมื่อ MA-oscillator สุดขั้ว	M5 / M15	ดี	PF 0.64 / 0.30	❌ ระเบิด	การหมดแรงของออสซิลเลเตอร์ไม่มี edge สวนบนทอง — ในเทรนด์มันบอก “มากเกิน” ตลอดทาง · เบรกรายวันแก้ edge ลบไม่ได้
KVF_MACD_TrendRider — ตามเทรนด์จาก MACD แบบ Kalman	M5 / H4	+$805 PF 1.15	PF 0.93 / 0.76	❌ curve-fit	MA-oscillator + MACD ไม่มี edge ที่ทนทานบนกรอบเวลาใด — IS สวย OOS พัง = ลายเซ็นของ overfitting

สิ่งที่ห้ากรณีบอกร่วมกัน:

• ระบบที่รอดสองตัว edge อยู่ที่ ระดับราคาและระบอบ (EMA/breakout ในเทรนด์, cluster retest) — ไม่ใช่ที่ออสซิลเลเตอร์
• ระบบที่พังสามตัว ทั้งหมดใช้ออสซิลเลเตอร์เป็นตัวให้สัญญาณ — ตรงกับสิ่งที่ M9 บอกว่า QC เป็นตัวยืนยัน ไม่ใช่ตัวเริ่ม
• การ์ดป้องกัน (kill-switch, daily-loss brake) ไม่สามารถซ่อม edge ที่เป็นลบได้ และทำให้ระบบที่ดีแย่ลง
• ทั้งสามที่พังดูดีในการทดสอบ — ถ้าไม่มี walk-forward ทั้งสามตัวคงถูกนำไปใช้เงินจริง

กรณีที่หก — การอ่านที่มั่นใจแล้วผิด

ไม่ใช่ระบบอัตโนมัติ แต่คือการอ่านด้วยดุลยพินิจ: ชุดเครื่องมือพิมพ์สัญญาณสวน (fade) ที่ 4,045–4,069 ด้วยคะแนนความมั่นใจ 90–95 → ทองวิ่งขึ้นต่อ +129 ดอลลาร์ บทเรียนสามข้อที่กลายเป็นกฎของหลักสูตร: (1) คะแนนความมั่นใจไม่ใช่ความน่าจะเป็นของทิศทาง (2) Hurst และตัวชี้ระบอบไม่รู้จักทิศทาง (3) ห้ามสวนเทรนด์ที่ระบบตามเทรนด์ (DeskTrend) กำลัง long อยู่ — ชุดเครื่องมือทั้งหมดถูกแก้หลังจากนั้นให้ “fade ไปกับ เทรนด์ ไม่ใช่สวน”

กรณีที่เจ็ด — ตัวเลขที่ยืมมาจากตลาดอื่น

ตัวคูณ AVR ของ Gold Session ถูกยืมมาจากตลาด NQ (ดัชนี Nasdaq) เมื่อวัดกับข้อมูลทองจริง 948 เซสชัน (H1, 3.7 ปี) พบว่ากว้างเกิน 2–2.5 เท่า และความไม่สมมาตรกลับด้าน (ทองฝั่งขึ้นวิ่งไกลกว่า) — ตัวเลขที่ “ดูสมเหตุสมผล” ไม่ใช่ตัวเลขที่ถูกต้อง ทุกค่าคงที่ที่ยืมมาต้องถูกวัดใหม่กับสินค้าที่ใช้จริง (ตารางเต็มอยู่ในหน้า Gold Session)

ข้อมูลที่ใช้วิจัย

หลักสูตรนี้เก็บข้อมูล XAUUSD ย้อนหลังไว้ครบ: M3 / M5 / M15 (2–11 เดือน) · H1 3.7 ปี · H4 13.7 ปี · รายวัน 37 ปี · พร้อม GC1!, GVZ, DXY — ทุกไฟล์มีคอลัมน์เวลา New York ที่ปรับ DST ถูกต้อง ตรงกับนาฬิกาที่อินดิเคเตอร์ใช้

เพราะอะไร H4 13.7 ปีถึงสำคัญ: DeskTrend_H4 ผ่านห้าด่านบนข้อมูลที่สั้นกว่านี้มาก และ 92% ของกำไรมาจากขาขึ้น 2024–26 ข้อมูล 13.7 ปีครอบคลุมทั้งขาลง 2013 ขาแกว่ง 2015–19 และขาขึ้นสองรอบ — มันคือการทดสอบว่าระบบรอดนอกยุคทองของตัวเองหรือไม่ นี่คืองานวิจัยชิ้นถัดไปของหลักสูตร และเป็นงานเดียวที่สร้าง edge จริง ต่างจากการปรับหน้าเว็บหรือเพิ่มตัวชี้

ใคร ทำอะไร ที่ไหน อย่างไร

ใคร	ทำอะไรกับการวิจัย	ผล
ผู้ขายระบบ / คอร์ส	โชว์ backtest IS · ไม่โชว์ระบบที่ล้มเหลว · ไม่หักต้นทุน	ลูกค้าเห็นเส้นสวย ใช้เงินจริง พัง
Quant desk	walk-forward บังคับ · บันทึกทุกระบบที่ลอง · cost model จริง · forward paper ก่อน live	ระบบส่วนใหญ่ถูกทิ้ง ตัวที่รอดทำงานได้จริง
ผู้เขียนหลักสูตร (จากประสบการณ์)	เคยเชื่อ IS สามครั้ง → เรียนรู้ → ทุกระบบผ่านห้าด่านหรือไม่ได้ใช้	2 ผ่าน / 3 ปฏิเสธ / เก็บบทเรียนทั้งหมด

ข้อจำกัดและกรณีที่ผิด

• Walk-forward ยังเป็นอดีต — มันลด overfitting แต่กำจัดไม่ได้ ระบอบที่ไม่เคยเกิดในข้อมูลจะไม่ถูกทดสอบ
• ข้อมูล M3 / M5 สั้นเกินไปสำหรับ walk-forward จริง (2–3.5 เดือน) — ใช้ฝึกตาได้ แต่ห้ามสรุปสถิติจากมัน
• ต้นทุนในการทดสอบต้องมาจากบัญชีจริงของคุณ (M1) ไม่ใช่ค่าเฉลี่ยจากอินเทอร์เน็ต
• ระบบที่ผ่านทุกด่านยังพังได้ — DeskTrend พึ่งพาขาขึ้น ถ้าทองเข้าขาลง 3 ปี มันจะ drawdown ยาว การผ่านการทดสอบคือใบอนุญาตให้เริ่มทดสอบต่อด้วยเงินเล็ก ไม่ใช่ใบรับประกัน
• ระวังการหลอกตัวเองแบบละเอียด — “ลองแค่ปรับนิดเดียว” ซ้ำสิบครั้งบน OOS = OOS กลายเป็น IS ไปแล้ว

แบบฝึกหัด

1. เอาไม้ 30 ไม้ล่าสุดจากบัญชีทดลอง แบ่งครึ่งตามเวลา คำนวณ PF ของแต่ละครึ่ง — ต่างกันแค่ไหน และนั่นบอกอะไร
2. เขียนกฎง่ายๆ หนึ่งข้อ (เช่น “ซื้อเมื่อราคาแตะ VAL ในวันที่ Γ เป็นบวก”) แล้วนับด้วยมือบนข้อมูล 20 วันว่ามันได้ผลกี่ครั้ง — แล้วนับบน 20 วันถัดไปที่ยังไม่เคยดู เทียบกัน
3. อ่านตารางห้ากรณีศึกษา เลือกระบบที่พังหนึ่งตัว อธิบายว่าถ้าคุณเป็นคนสร้าง คุณจะเห็นสัญญาณเตือนอะไรได้ก่อนใช้เงินจริง
4. หา “backtest” หนึ่งอันจากอินเทอร์เน็ตที่โชว์ผลสวย ตรวจด้วยห้าวิธีที่มันหลอก — มันผิดข้อไหนบ้าง

เกณฑ์ผ่าน

ได้รับ backtest หนึ่งชุด (ผู้สอนจัดให้) ที่ดูดีเกินจริง ต้องระบุได้ว่าผลลัพธ์นั้นเชื่อถือไม่ได้เพราะอะไร โดยอ้างอย่างน้อยสองในห้าวิธีที่ backtest หลอก พร้อมบอกว่าจะต้องทดสอบเพิ่มอย่างไรจึงจะเชื่อได้