در این مقاله
- چرا نتیجهی خوب بک‌تست بهتنهایی کافی نیست؟
- هر سوگیری دقیقاً چه معنایی دارد؟
- این سوگیریها چگونه وارد چرخه‌ی آزمون می‌شوند؟
- چطور یک آزمون قابل‌ممیزی طراحی کنید؟
- دفتر آزمایش و چک‌لیست بازتولید
- مثال گام‌به‌گام: فاصله‌ی توسعه و آزمون چه می‌گوید؟
- کجا تشخیص ساده کافی نیست؟
- کدام اشتباهات رایج را باید حذف کنید؟
- قدم بعدی: ممیزی را به عادت تبدیل کنید
خلاصه در ۳۰ ثانیه
- بیشبرازش وقتی رخ میدهد که انتخاب نسخهی برتر بیش از آن‌که قاعده‌ای پایدار پیدا کند، به جزئیات نمونه‌ی توسعه وابسته شود.
- نگاهبهآینده با واردکردن اطلاعات منتشرشده پس از زمان تصمیم، نتیجهی تاریخی را آلوده میکند.
- سوگیری بقا از بررسی فقط نمادهایی می‌آید که تا امروز باقی مانده‌اند.
- ثبت همهی نسخههای آزمودهشده، تعداد جست‌وجوها را آشکار میکند.
- تفکیک زمانی و دست‌نخورده نگه‌داشتن آزمون نهایی، انضباط ارزیابی را بهتر میکند.
چرا نتیجهی خوب بک‌تست بهتنهایی کافی نیست؟
بازده درخشان گذشته بهتنهایی اثبات نمیکند که راهبرد شما یک قاعده‌ی قابل‌تکرار دارد. شاید نتیجه فقط به همان نمونه یا انتخاب‌های شما وابسته باشد. سه منشأ خطا را از هم جدا کنید: بیشبرازش، یعنی تنظیم مکرر قواعد بر اساس نتایج گذشته؛ نگاهبهآینده، یعنی استفاده از اطلاعاتی که هنوز منتشر نشده بود؛ و سوگیری بقا، یعنی کنارگذاشتن نمادهایی که بعداً از فهرست خارج شدند.
این سه مسیر مستقل‌اند اما می‌توانند هم‌زمان رخ دهند: قواعد را بارها تغییر دهید، ناخواسته اطلاعات آینده را وارد کنید و فقط نمادهای باقی‌مانده را بسنجید. هر سه، نتیجه را از واقعیت دور می‌کنند. تصویر بالا فقط توالی قیمت را نشان میدهد، نه اعتبار یک راهبرد. بدون مشخصات منبع، نمی‌توان ارقام بازه را بازتولید کرد.
پیش از ممیزی
با بک‌تست، فوروارد تست (Forward Test)، اندازه‌ی نمونه و هزینه‌ی معامله آشنا شوید. برای بازتولید آمار نمودار، به منبع و نماد دقیق، منطقه‌ی زمانی، بازه‌ی برداشت و وضعیت بسته‌شدن کندل آخر نیاز دارید. تا آن زمان، قیمت آخر را قیمت پایانی در نظر نگیرید.
پیش از آزمون، قواعد ورود، خروج و اندازه‌ی موقعیت را مکتوب و ثابت کنید. برای هر تصمیم، فقط اطلاعاتی را به‌کار ببرید که تا همان لحظه منتشر شده است. زمان ثبت سفارش را از زمان اجرا جدا کنید و کارمزد و لغزش را حساب کنید. همهی نسخهها را ثبت کنید و نمونه را به‌ترتیب زمانی به دوره‌های توسعه، اعتبارسنجی و آزمون نهایی تقسیم کنید. بعد از تثبیت قواعد، دوره‌ی نهایی را دست‌نخورده نگه دارید.
برای هر سوگیری، یک پرسش ممیزی و یک اقدام اصلاحی بنویسید. این کار نشان میدهد در آزمون بعدی باید کدام انتخاب یا ورودی را بررسی کنید.
- بیشبرازش — پرسش: چند نسخه را آزموده‌ام و آیا پس از دیدن نتیجه قواعد را تغییر داده‌ام؟ اقدام: همهی نسخهها را ثبت کنید و عملکرد را روی دوره‌ی نهاییِ دست‌نخورده بسنجید.
- نگاهبهآینده — پرسش: آیا هر ورودی هنگام تصمیم در دسترس بود؟ اقدام: زمان انتشار، ثبت سفارش و اجرا را جدا ثبت کنید و هزینهها را وارد محاسبه کنید.
- سوگیری بقا — پرسش: آیا نمادهای حذف‌شده یا ازفهرستخارجشده را هم لحاظ کرده‌ام؟ اقدام: فهرست تاریخی نمادها را بازسازی کنید؛ فهرست امروز برای بازسازی گذشته کافی نیست.
هر سوگیری دقیقاً چه معنایی دارد؟
بیشبرازش یعنی قواعد یا پارامترهای راهبرد بیش از حد به نمونه‌ی توسعه وابسته شدهاند. این نمونه را خوب توضیح می‌دهند، اما در دوره‌ی تازه افت می‌کنند. این وابستگی حتی بدون خطای زمانی هم پدید می‌آید؛ کافی است نسخههای زیادی را آزموده و بهترین را انتخاب کرده باشید. پرسش تشخیصی: چند نسخه را آزمودید و آیا همه را ثبت کرده‌اید؟
نگاهبهآینده یعنی تصمیمی را با اطلاعاتی بسنجید که در همان لحظه هنوز منتشر نشده بود. مثلاً راهبردی که با قیمت نهایی پایان روز وارد معامله میشود، اما ورود را طوری ثبت میکند که گویی پیش از معلوم‌شدن قیمت بوده. این کار ترتیب زمانی اطلاعات را نقض میکند. پرسش تشخیصی: در آن لحظه دقیقاً چه چیزی منتشر شده بود؟
سوگیری بقا وقتی پیش می‌آید که نمادهای شکست‌خورده، حذف‌شده یا ازفهرستخارجشده از نمونه‌ی تاریخی کنار بمانند. در این حالت، بررسی فقط نمادهای امروزی را می‌بیند و مسیر گذشته را ناقص بازسازی میکند. پرسش تشخیصی: کدام نمادها از نمونه افتاده‌اند و چرا؟ در تصویر زیر، منشأ هر سوگیری کنار پرسش ممیزی متناظرش آمده است.
| سوگیری | منشأ خطا | پرسش ممیزی |
|---|---|---|
| بیشبرازش | انتخاب قواعد یا پارامترها با اتکای زیاد به نمونه‌ی توسعه | چند نسخه را آزمودید؟ |
| نگاهبهآینده | استفاده از اطلاعاتی که در زمان تصمیم هنوز در دسترس نبود | چه چیزی در آن لحظه منتشر شده بود؟ |
| سوگیری بقا | حذف نمادهای شکست‌خورده، حذف‌شده یا ازفهرستخارجشده | کدام نمادها از نمونه افتاده‌اند؟ |
فرق اصلی در منشأ خطاست: بیشبرازش مسئله‌ی انتخاب و تعمیم است؛ نگاهبهآینده نقض ترتیب زمانی اطلاعات. راهبردی میتواند با اطلاعاتِ همان زمان هم بیشبرازش شود، یا راهبردی ساده با اطلاعاتِ منتشرنشده نتیجه‌ای آلوده بسازد؛ این دو خطا یکی نیستند. نسخههای آزمودهشده را ثبت کنید تا جستوجوی پنهان محدود شود. هر تصمیم را فقط با اطلاعات منتشرشده تا همان لحظه بسنجید. در بازآزمایی تاریخی، نمادهای حذف‌شده را هم نگه دارید.
این سوگیریها چگونه وارد چرخه‌ی آزمون می‌شوند؟
بیشبرازش از همین‌جا وارد چرخه میشود: نتیجهی هر آزمون، قواعد آزمون بعدی را تغییر میدهد. شما چند ترکیب از شرط ورود، خروج یا فیلتر را روی یک نمونه می‌سنجید و بهترین نتیجه را انتخاب می‌کنید. بعد همان قواعد را دوباره با نگاه به همان نمونه تنظیم می‌کنید. هر انتخاب، بخشی از نوسان تصادفی آن دوره را به قاعده تبدیل میکند. نتیجهی نهایی دیگر ارزیابی مستقل عملکرد راهبرد نیست.
نگاهبهآینده یعنی تصمیم بک‌تست به اطلاعاتی دسترسی دارد که هنوز منتشر نشده بود. مثلاً اگر شرط ورود با قیمت پایانی همان کندل تعیین شود و سفارش هم با همان قیمت اجرا فرض شود، یک قیمت در هر دو نقش استفاده شده. اصلاح بعدی آمار اقتصادی یا استفاده از شاخصی با تاریخ انتشار نادرست هم همین خطا را می‌سازد.
برای اطلاعات دوره‌ای، اتصال را بر اساس زمان انتشار و زمان قابل‌دسترسی انجام دهید، نه تاریخ دوره‌ای که اطلاعات به آن مربوط است. اگر شاخصی دوره‌ی پیشین را توصیف میکند ولی بعد از بسته‌شدن بازار منتشر شده، تا زمان انتشارش در بک‌تست قابل‌استفاده نیست. در تصویر بالا، چهار ایستگاه ردیابی اطلاعات تا ثبت و اجرای فرضی سفارش نشان میدهد این ترتیب را کجا کنترل کنید.
سوگیری بقا وقتی وارد آزمون میشود که فهرست نمادهای امروز را به گذشته تعمیم دهید. این فهرست نمادهای حذف‌شده، ادغام‌شده یا خارج از فهرست را کنار می‌گذارد و فقط نمادهای باقی‌مانده را در آزمون نگه می‌دارد. برای هر مقطع تاریخی، فهرست نمادهای همان زمان را بازسازی کنید و نمادهای خارج‌شده را هم در آزمون نگه دارید.
ثبت زمان، پیش‌شرط آزمون
برای هر متغیر، منبع، زمان مشاهده، زمان انتشار و نخستین زمان مجاز استفاده را ثبت کنید. اگر یکی از این زمان‌ها روشن نیست، آن متغیر را وارد آزمون نکنید تا منشأ و دسترس‌پذیری‌اش روشن شود.
کنار این زمانبندی، یک دفتر ثبت نسخهها هم نگه دارید. همهی قواعد و نتیجه‌های آزمودهشده را ثبت کنید، نه فقط نسخهی برتر. این کار اثر جستوجوی مکرر را آشکار میکند. معیار عملی این است که سابقه‌ی هر تغییر از قاعده‌ی اولیه تا نسخهی نهایی کامل باشد.
چطور یک آزمون قابل‌ممیزی طراحی کنید؟
پیش از هر آزمون، قواعد ورود، خروج و اندازه‌ی موقعیت را ثابت و مکتوب کنید. شناسه‌ی نسخه، بازه‌ی نمونه، معیار اصلی ارزیابی و هزینه‌های منظورشده را هم ثبت کنید؛ مثلاً مشخص کنید معیار اصلی بازده خالص است یا افت سرمایه، و کارمزد و لغزش چگونه حساب می‌شوند. توجه کنید: اگر این موارد را پس از دیدن نتیجه تغییر دهید، آزمون دیگر یک نسخه را ارزیابی نمیکند.
نمونه را زمانی تقسیم کنید
اطلاعات را به ترتیب زمانی به سه دوره جدا کنید: دوره‌ی توسعه برای ساخت قواعد و آزمایش پیکربندی‌ها، دوره‌ی اعتبارسنجی برای انتخاب محدود میان گزینه‌های ازپیش‌تعریف‌شده، و آزمون نهایی برای ارزیابی پس از تثبیت قواعد. در هر تصمیم در زمان t فقط اطلاعاتی را به‌کار ببرید که تا همان زمان منتشر شدهاند. آزمون نهایی را برای تغییر پارامترها بارها باز نکنید؛ هر بار که نتیجهی آن را می‌بینید و بر همان اساس قاعده‌ای را عوض می‌کنید، آن دوره وارد فرایند توسعه شده است.
در تصویر بالا، هر نسخه و نقش هر دوره جدا ثبت شده است. برای نمونه، اگر یک نسخه در اعتبارسنجی انتخاب شد، تغییر آن پس از مشاهدهی آزمون نهایی باید با شناسه‌ی تازه ثبت شود؛ ارزیابی بعدی دیگر آزمون دست‌نخورده‌ی همان نسخه نیست. در مثال اصلی مقاله، نتیجهی آزمون نهایی پس از تثبیت قواعد تفسیر میشود؛ اینجا آن اختلاف را دوباره حساب نمی‌کنیم.
دفتر آزمایش و چک‌لیست بازتولید
برای هر اجرا یک ردیف در دفتر آزمایشها بسازید. شناسه‌ی نسخه، تاریخ اجرا، تغییرات نسبت به نسخهی پیشین، معیارهای ثبت‌شده و دلیل نگه‌داشتن یا ردکردن را بنویسید. همهی نسخههای آزمودهشده را نگه دارید، نه فقط برنده را. پیش از تأیید نتیجه، این موارد را بررسی کنید:
- منبع اطلاعات، شیوه‌ی دریافت آن و منطقه‌ی زمانی ثبت شدهاند.
- قواعد اجرای سفارش روشن‌اند: زمان ثبت سفارش از زمان اجرا جداست و مشخص است چه قیمتی و چه زمانی مبنای اجرا بوده است.
- کارمزد و لغزش در محاسبه آمده‌اند و روش منظورکردن هر دو در نسخه ثبت شده است.
- فهرست نمادها با همان دوره‌ی تاریخی سازگار است و نمادهای حذف‌شده یا ازفهرستخارجشده را هم دربرمی‌گیرد؛ فهرست امروز بهتنهایی برای بازسازی گذشته کافی نیست.
قاعده‌ی ممیزی
هر نتیجه باید به نسخهی قواعد، بازه‌ی زمانی، معیار ارزیابی و تنظیمات اجرا قابل‌ردیابی باشد. اگر فرد دیگری نتواند با همین ثبت‌ها آزمون را بازسازی کند، گزارش هنوز قابل‌ممیزی نیست.
مثال گام‌به‌گام: فاصله‌ی توسعه و آزمون چه می‌گوید؟
فرض کنید ۱۰۰ پیکربندی از یک راهبرد را روی دوره‌ی توسعه آزمایش می‌کنید. هر پیکربندی قواعد ورود، خروج و اندازه‌ی موقعیت خودش را دارد. بهترین نسخه در این دوره بازده ۱۲٪ ثبت میکند. این عدد فقط نشان میدهد کدام نسخه، در میان گزینه‌های بررسی‌شده روی دوره‌ی توسعه، بهتر عمل کرده است.
حالا همان قواعد نسخهی برتر را بدون هیچ تغییری روی یک دوره‌ی آزمون جداگانه اجرا کنید. بازده ثبت‌شده در آزمون ۲٪ است. روش محاسبه‌ی بازده را در هر دو دوره یکسان نگه دارید، زمان ثبت سفارش را از زمان اجرای آن جدا کنید، و کارمزد و لغزش را هم در محاسبه بگنجانید.
اختلاف بازده را با کم‌کردن بازده آزمون از بازده توسعه به دست می‌آورید: اختلاف = بازده توسعه − بازده آزمون. در این مثال، ۱۲٪ − ۲٪ = ۱۰ واحد درصد. دقت کنید این عدد ۱۰ واحد درصد است، نه ۱۰ درصد. یعنی نسخهی برتر در دوره‌ی توسعه، ۱۰ واحد درصد بیشتر از دوره‌ی آزمون بازده داشته است.
این اختلاف چه می‌گوید؟
فاصله‌ی ۱۰ واحد درصد بهتنهایی علت افت را ثابت نمیکند. اما نشانه‌ی روشنی است که باید انتخاب بیش از حد روی نمونه‌ی توسعه را بررسی کنید. آن را نتیجهی قطعی درباره‌ی علت عملکرد در نظر نگیرید.
برای بررسی، اول دفتر نسخهها را مرور کنید. همهی ۱۰۰ پیکربندی و ترتیب آزمایش‌شان باید ثبت شده باشد. ثبت فقط نسخهی برتر، اثر جستوجوی مکرر میان گزینه‌ها را پنهان میکند و نشان نمی‌دهد نسخهی منتخب پس از چند بار تغییر و مقایسه پیدا شده. سپس قواعد را تا آزمون بعدی دست‌کاری نکنید تا آن آزمون مستقل بماند.
در بازبینی، دو مسیر را جدا نگه دارید. اول هزینهها و لغزش را دوباره محاسبه کنید. بعد زمانبندی اطلاعات را بررسی کنید تا مطمئن شوید هر تصمیم فقط به اطلاعاتی تکیه داشته که تا همان زمان منتشر شده بود. اگر قواعد را پس از دیدن نتیجهی آزمون تغییر دهید، آن دوره دیگر آزمون مستقل نسخهی تازه نیست. قواعد تازه را ثبت کنید و برای ارزیابی آن‌ها یک دوره‌ی آزمون جدید کنار بگذارید.
- دفتر نسخهها را با قواعد هر پیکربندی و ترتیب آزمونها تطبیق دهید.
- هزینهها، لغزش و زمانبندی اطلاعات را جداگانه بازبینی کنید.
- قواعد را ثابت نگه دارید و آزمون بعدی را تا تثبیت نسخه دست‌نخورده حفظ کنید.
کجا تشخیص ساده کافی نیست؟
افت عملکرد بیرون از نمونه بهتنهایی بیشبرازش را ثابت نمیکند. اول ببینید رژیم بازار عوض شده، هزینه‌ی معامله بالا رفته یا کیفیت اجرا افت کرده است. بعد عملکرد را با فرض‌های یکسان درباره‌ی کارمزد، لغزش و زمان اجرای سفارش مقایسه کنید. مثلاً اگر سفارش در آزمون با قیمت ثبت‌شده حساب شده، اما در اجرا تأخیر و لغزش بیشتری داشته، نمی‌توان افت بازده را مستقیم به ضعف قاعده نسبت داد. علت‌ها را جدا بررسی کنید: تغییر بازار، هزینه و اجرا در برابر انتخاب قاعده.
وقتی چند معیار و نسخه را آزموده‌اید، نتیجهی برنده را در بستر کل جست‌وجو تفسیر کنید، نه یک آزمون تنها. تعداد نسخهها، معیارهای انتخاب و دوره‌های بررسی‌شده را ثبت کنید. گزارش‌کردن فقط بهترین نتیجه، اثر جستوجوی مکرر را پنهان میکند. مثلاً اگر نسخه‌ای با معیار بازده انتخاب شده، همان نسخه را با معیار افت سرمایه هم بسنجید و بگویید این معیار پس از دیدن نتایج انتخاب نشده است.
اصلاح بونفرونی با افزایش شمار مقایسه‌ها، آزمون را سخت‌گیرتر میکند. روش‌های کنترل نرخ کشف کاذب (FDR) هم، تحت شرایط و فرض‌های خودشان، نرخ موردانتظارِ نتایج مثبت کاذب را در نتایج انتخاب‌شده کنترل می‌کنند. این روش‌ها برای تفسیر آزمون‌های متعدد مفیدند، اما جای تقسیم زمانی توسعه، اعتبارسنجی و آزمون نهایی را نمی‌گیرند و نشت اطلاعات به آینده را اصلاح نمی‌کنند. آزمون نهایی را تا تثبیت قواعد دست‌نخورده نگه دارید.
زمانِ انتشار با دوره‌ی مربوط یکی نیست
در اطلاعات بنیادی یا رویدادی، دوره‌ای که یک رقم به آن مربوط است با زمان انتشار یا بازنگری‌اش فرق دارد. مثلاً در یک مثال فرضی، رقمی مربوط به فصل بهار است، اما پس از پایان فصل منتشر میشود. استفاده از آن برای تصمیمی در همان فصل، نگاهبهآینده است. بازنگری بعدی هم نباید جای نسخه‌ای را بگیرد که در زمان تصمیم واقعاً در دسترس بوده. برای هر ورودی، دوره‌ی مرجع، نخستین زمان انتشار و زمان هر بازنگری را جدا ثبت کنید.
قاعده‌ی اعتبار
اگر تاریخ دسترسی به اطلاعات یا عضویت نماد در نمونه قابل‌بازسازی نیست، آن آزمون را برای نتیجه‌گیری قطعی معتبر ندانید. فهرست امروز، سابقه‌ی نمادهای حذف‌شده یا خارج‌شده از فهرست را نشان نمی‌دهد.
در عمل، پیش از پذیرفتن نتیجه، سه ردپا را کنار هم بگذارید: علت افت بیرون از نمونه، مجموعه‌ی کامل نسخهها و معیارهای آزمودهشده، و زمان دسترسی به اطلاعات همراه با سابقه‌ی عضویت نمادها. اگر هرکدام ناقص باشد، نتیجه را فقط شاهد مقدماتی بدانید، نه تأیید قطعی عملکرد.
کدام اشتباهات رایج را باید حذف کنید؟
چهار خطای اجرایی را از بک‌تست حذف کنید؛ هرکدام میتواند تصویری بهتر از واقعیت نشان دهد. فقط نسخهی برنده را ثبت نکنید. همهی پیکربندی‌های آزمودهشده، تنظیمات، زمان اجرا و دلیل رد هر نسخه را نگه دارید. اگر فقط نتیجهی موفق را گزارش کنید، نمی‌فهمید عملکرد آن از یک فرضیه‌ی قوی آمده یا از جستوجوی مکرر میان گزینه‌ها.
زمان تصمیم را از زمان اجرا جدا کنید. برای نمونه، اگر قاعده با قیمت بسته‌شدن یک کندل فعال میشود، همان قیمت را برای اجرای سفارش به کار نبرید. قاعده‌ی روشن‌تر این است: سفارش را پس از تأیید بسته‌شدن ثبت کنید و اجرا را با قیمت قابلدسترس بعدی حساب کنید. کارمزد و لغزش را هم وارد محاسبه کنید و قواعد ورود، خروج و اندازه‌ی موقعیت را پیش از آزمون مکتوب و ثابت نگه دارید.
فهرست نمادهای امروز، تصویر کامل بازار گذشته نیست. برای نمونه، اگر بازآزمایی را فقط روی شرکت‌هایی انجام دهید که هنوز در فهرست هستند، نمادهای حذف‌شده یا ازفهرستخارجشده را کنار گذاشته‌اید و نتیجه به نفع بازماندگان منحرف میشود. عضویت نمادها را بر پایه‌ی هر بازه‌ی تاریخی بازسازی کنید و نمادهای خارج‌شده را هم در آزمون نگه دارید.
اعتبارسنجی و آزمون نهایی دو کار جدا دارند. اعتبارسنجی برای انتخاب و تثبیت قواعد است؛ آزمون نهایی برای سنجش همان قواعد پس از تثبیت. اطلاعات را به ترتیب زمانی به سه بخش توسعه، اعتبارسنجی و آزمون نهایی تقسیم کنید و تا پایان تصمیم‌گیری، بخش نهایی را دست‌نخورده نگه دارید. برای مثال، در یک سناریوی فرضی، پس از مقایسهی چند نسخه در توسعه و انتخاب قواعد با اعتبارسنجی، سراغ آزمون نهایی بروید. اگر نتیجه‌اش باعث تغییر قاعده شود، آن بخش دیگر آزمون نهاییِ مستقل نیست.
چک‌لیست پیش از انتشار نتیجه
- زمان انتشار هر اطلاعات و زمان تصمیم را ثبت کرده‌اید؟
- ترتیب ثبت سفارش و اجرای آن روشن است و کارمزد و لغزش محاسبه شدهاند؟
- فهرست نمادها در هر دوره، از جمله نمادهای حذف‌شده، بازسازی شده است؟
- همهی نسخههای آزمودهشده و ردشده ثبت شدهاند؟
- دوره‌ی آزمون نهایی تا تثبیت قواعد دست‌نخورده مانده است؟
قدم بعدی: ممیزی را به عادت تبدیل کنید
یک استراتژی موجود را بردارید و سه سوگیری را جدا بررسی کنید. برای بیشبرازش، همهی نسخههای آزمایش‌شده را با قواعد و نتیجه‌شان ثبت کنید. برای نگاهبهآینده، زمان انتشار هر اطلاعات و زمان تصمیم را بررسی کنید. برای سوگیری بقا، فهرست تاریخی نمادها را با نمادهای حذف‌شده یا ازفهرستخارجشده مقایسه کنید. برای هر مورد، یک شاهد قابل‌بررسی بنویسید؛ اگر شاهدی ندارید، همان خلأ را صریح بنویسید و بگویید چه مدرکی کم است.
فرم یک‌صفحه‌ای ممیزی
این چهار بخش را در یک صفحه نگه دارید تا بازآزمایی بعدی هم قابل‌ردیابی باشد:
- قاعده‌ی نسخه: شناسه‌ی نسخه و قواعد مکتوب ورود، خروج و اندازه‌ی موقعیت؛ هر تغییری، نسخهی تازهای می‌سازد.
- اطلاعات مجاز در زمان تصمیم: برای هر تصمیم در زمان مشخص، اطلاعاتی را ثبت کنید که تا همان زمان منتشر شده بود؛ زمان ثبت سفارش را نیز از زمان اجرای آن جدا کنید و کارمزد و لغزش را در محاسبه بیاورید.
- ترکیب تاریخی نمادها: فهرست نمادهای موجود در هر مقطع، همراه با نمادهای حذف‌شده یا ازفهرستخارجشده؛ فهرست امروز بهتنهایی گذشته را بازسازی نمیکند.
- مرزهای نمونه: بازه‌های توسعه، اعتبارسنجی و آزمون نهایی را به ترتیب زمانی مشخص کنید و تاریخ مرزی هر دوره را بنویسید.
پیش از اجرای بعدی، دفتر آزمایشها را بسازید. برای هر نسخه، تاریخ اجرا، قواعد، دوره‌ی بررسی و نتیجه را ثبت کنید. تا زمانی که قواعد ورود، خروج و اندازه‌ی موقعیت تثبیت نشده‌اند، آزمون نهایی را قفل نگه دارید. پس از مشاهدهی نتیجه، از آن برای تنظیم دوباره‌ی همان نسخه استفاده نکنید.
معیار ممیزی
هدف، اثبات کیفیت استراتژی با یک نمودار یا عدد نیست. هدف، ساختن آزمونی است که زمان هر اطلاعات، نسخهی قواعد و مسیر تصمیم در آن قابل‌ردیابی باشد. هر جا این زنجیره قطع است، آن را به‌عنوان خلأ ثبت کنید.
پرسش‌های پرتکرار
چطور بفهمم استراتژیام بیشبرازش شده است؟
مقایسهی عملکرد توسعه و آزمون نهایی یک سرنخ است، نه اثبات علت. تعداد نسخههای آزمودهشده، تغییرات پس از مشاهدهی نتیجه و پایداری قواعد را هم بررسی کنید.
آیا نگاهبهآینده فقط از استفاده از قیمت آینده ایجاد میشود؟
خیر. استفاده از اطلاعاتی که بعدتر منتشر شدهاند، بازنگریهای آماری پسینی یا اجرای سفارش در قیمتی که در زمان تصمیم قابلدسترس نبوده نیز میتواند آن را ایجاد کند.
سوگیری بقا در بک‌تست یعنی چه؟
یعنی ارزیابی فقط روی نمادهایی انجام شود که تا امروز در فهرست باقی مانده‌اند. برای کاهش آن، ترکیب نمادها و خروج‌های تاریخی را در هر مقطع بازسازی کنید.
آیا آزمون خارج از نمونه همهی سوگیریها را برطرف میکند؟
خیر. تقسیم نمونه بهتنهایی زمانبندی نادرست اطلاعات یا حذف نمادهای ازفهرستخارجشده را اصلاح نمیکند. کیفیت منبع، ترتیب زمانی و فرایند انتخاب نسخهها نیز باید ممیزی شوند.
اگر نتیجهی آزمون نهایی ضعیف شد، چه کار کنم؟
ابتدا قواعد، هزینهها، زمانبندی اطلاعات و اجرای سفارش را ممیزی کنید. اگر قواعد را با دیدن نتیجه تغییر دادید، آن بازه دیگر آزمون نهایی مستقل نیست و باید ارزیابی تازهای طراحی کنید.
چرا باید نسخههای ردشدهی استراتژی را ثبت کنم؟
چون نسخهی برنده بدون شمار و مسیر آزمونها تصویر ناقصی میدهد. ثبت همهی آزمایشها کمک میکند اثر جستوجوی مکرر و تغییرات پس از مشاهدهی نتیجه روشن بماند.
این مقاله آموزشی است و توصیه‌ی سرمایه‌گذاری یا سیگنال خرید و فروش نیست. معامله در بازارهای مالی ریسک دارد و مسئولیت تصمیم‌ها با خود شماست.
اشتباهی دیدید؟ از صفحه‌ی تماس با ما خبر بدهید تا بررسی و اصلاح شود.
