ارزیابی استراتژی معاملاتی: اندازه‌ی نمونه، کارمزد و آزمون خارج از نمونه

چرا یک بک‌تست خوب به‌تنهایی کافی نیست؟

چند معامله‌ی پیاپی با سود چشمگیر چه چیزی را ثابت می‌کند؟ فقط این‌که در همان معاملات، با همان شرایط، نتیجه مثبت بوده است؛ به‌تنهایی نشان نمی‌دهد که نتیجه از مهارت راهبرد آمده یا در معاملات بیشتر و شرایط دیگر هم دوام می‌آورد. برای نمونه، چند برد متوالی ممکن است با چند زیان بزرگ‌تر در ادامه خنثی شود.

بک‌تست، عملکرد گذشته را ثبت می‌کند؛ ارزیابی راهبرد می‌سنجد که آیا قواعد آن در نمونه‌ای کافی، پس از هزینه‌ها و بیرون از اطلاعاتی که برای طراحی استفاده شده، همچنان کارآمد می‌مانند. پس پیش از بررسی، معیار اصلی را انتخاب کنید: بازده خالص، افت سرمایه یا نسبت سود به زیان. سپس تعداد معاملات را در کنار پراکندگی نتیجه‌ها بسنجید؛ میانگین به‌تنهایی تصویر کاملی نمی‌دهد.

سه پرسش، مسیر ارزیابی را مشخص می‌کند: نمونه چقدر بزرگ است؟ هزینه‌ی معامله چه اثری بر نتیجه دارد؟ و آزمون خارج از نمونه چه می‌سنجد؟ این آزمون عملکرد قواعدی را می‌سنجد که با بخشی جداگانه از اطلاعات، کنارگذاشته‌شده هنگام طراحی، اجرا می‌شوند. برای تفسیر درست، همان قواعد ورود و خروج و همان شیوه‌ی محاسبه‌ی هزینه را به کار ببرید.

این نظم به تصمیم‌گیری پس از باخت هم پیوند دارد: همان‌طور که در مقاله‌ی پیش‌نیاز درباره‌ی تصمیم‌گیری پس از باخت می‌آید، یک زیان به‌تنهایی دلیل کافی برای کنارگذاشتن یا تغییر راهبرد نیست. ارزیابی منظم کمک می‌کند نتیجه را در چارچوب معیار ازپیش‌تعیین‌شده، تعداد معاملات و پراکندگی آن‌ها بررسی کنید، نه با واکنش به یک معامله‌ی منفرد.

• پیش از شروع، معیار اصلی را ثبت کنید و قواعد ورود و خروج را ثابت نگه دارید.
• هزینه‌ی رفت‌وبرگشت را از بازده ناخالص کم کنید؛ سپس نتیجه را در چند بازه‌ی زمانی یا وضعیت بازاری بسنجید.
• بخش خارج از نمونه را تا پایان طراحی کنار بگذارید و فقط یک‌بار، با قواعد ثابت، ارزیابی کنید.

اندازه‌ی نمونه دقیقاً چه چیزی را نشان می‌دهد؟

اندازه‌ی نمونه یعنی تعداد مشاهده‌های مستقل و مرتبط با پرسشی که می‌خواهید ارزیابی کنید. در راهبرد معاملاتی، شمار معامله‌ها نقطه‌ی شروع مناسبی است؛ اما «۱۰۰ معامله» به‌تنهایی نمی‌گوید نتیجه چقدر قابل اتکاست. معامله‌هایی که هم‌زمان باز شده‌اند یا به یک حرکت بازار وابسته‌اند، اطلاعات تازه‌ی کمتری از معامله‌های مستقل اضافه می‌کنند.

هر معیار به پرسش متفاوتی پاسخ می‌دهد: میانگین بازده، نتیجه‌ی معمول هر معامله را نشان می‌دهد؛ پراکندگی، میزان تفاوت نتیجه‌ها را؛ نرخ برد، سهم معامله‌های سودده را؛ و افت سرمایه، عمق کاهش ارزش حساب را. پس پیش از ارزیابی، معیار اصلی را مشخص کنید—بازده خالص، افت سرمایه یا نسبت سود به زیان—و تعداد معامله‌ها را همراه با پراکندگی نتیجه‌ها بسنجید؛ میانگین به‌تنهایی کافی نیست. در مثال اصلی مقاله، شمار معامله‌ها را در کنار نتیجه‌های برد و باخت ببینید؛ محاسبه‌ی آن مثال در بخش مربوط انجام می‌شود.

در تصویر بالا، کارت‌ها یادآوری می‌کنند که شمار معامله‌ها فقط یکی از ابعاد بررسی است. برای سنجش کفایت نمونه، پیش از شروع، معیار تصمیم، دامنه‌ی پذیرش و شمار معامله‌هایی را که ثبت خواهید کرد بنویسید؛ مثلاً مشخص کنید چه بازده خالصی را می‌پذیرید و افت سرمایه تا چه حدی با معیار شما سازگار است. عدد ثابتی برای همه‌ی راهبردها تعیین نکنید؛ وابستگی معامله‌ها و پراکندگی نتیجه‌ها را هم در قضاوت دخیل کنید.

چطور کارمزد را وارد ارزیابی کنیم؟

برای سنجش راهبرد، بازده ناخالص را با هزینه‌هایی مقایسه کنید که واقعاً در اجرای سفارش ایجاد می‌شوند. هزینه‌ی معامله را به چهار جزء بشکنید: کارمزد، فاصله‌ی خریدوفروش، لغزش قیمت و هزینه‌ی نگهداری، اگر معامله برای مدتی باز می‌ماند. در تصویر زیر، این هزینه‌ها از بازده پیش از هزینه کم می‌شوند تا نتیجه‌ی پس از هزینه به دست آید.

هزینه‌ی رفت‌وبرگشت، هزینه‌ی ورود و خروج یک معامله را با هم پوشش می‌دهد؛ واردکردن هزینه‌ی یک‌طرفه به‌جای هر دو سوی معامله، برآورد را کمتر از مقدار واقعی نشان می‌دهد. بازده خالص به زبان ساده برابر است با بازده ناخالص منهای مجموع هزینه‌های واقعی مدل‌شده. هزینه‌ی هر معامله را از بازده همان معامله کم کنید و سپس نتایج را برای کل دوره جمع بزنید.

هزینه‌ها را در جای درست وارد کنید

هزینه‌ی ثابت، مانند مبلغ ثابت به‌ازای هر سفارش، مستقل از حجم است و برای هر بار اجرا به حساب می‌آید. هزینه‌ی وابسته به حجم، مانند کارمزد درصدی، با ارزش یا اندازه‌ی سفارش تغییر می‌کند؛ آن را برای هر ورود و خروج بر مبنای حجم همان سفارش محاسبه کنید. لغزش و فاصله‌ی خریدوفروش را نیز مطابق فرض اجرای سفارش وارد کنید، نه به‌صورت یک کسر کلی و نامشخص.

در مثال اصلی مقاله، هزینه‌ی رفت‌وبرگشت برای هر معامله در محاسبه‌ی نتیجه‌ی خالص لحاظ می‌شود؛ حل مرحله‌به‌مرحله‌ی آن در بخش مثال کامل آمده است. پیش از اجرای آزمون، این موارد را ثبت کنید:

• نرخ و شیوه‌ی محاسبه‌ی کارمزد؛
• حجم هر سفارش و این‌که کارمزد ثابت است یا وابسته به حجم؛
• تعداد دفعات معامله؛
• فرض لغزش قیمت؛
• فرض اجرای سفارش و این‌که سفارش در چه قیمتی اجرا می‌شود.

مثال کامل: از بازده ناخالص تا نتیجه‌ی خالص

ورودی‌های مثال اصلی را ثبت کنید: ۱۰۰ معامله؛ ۵۵ معامله‌ی برنده با سود ۲ واحد در هر معامله؛ ۴۵ معامله‌ی بازنده با زیان ۲ واحد در هر معامله؛ و هزینه‌ی رفت‌وبرگشت ۰٫۲ واحد برای هر معامله. این مثال فرضی است و معیار محاسبه را بازده خالص می‌گیریم؛ یعنی هزینه‌ی معاملات را از بازده ناخالص کم می‌کنیم.

1. سود معاملات برنده را جمع کنید: ۵۵ × ۲ = ۱۱۰ واحد. سپس زیان معاملات بازنده را حساب کنید: ۴۵ × ۲ = ۹۰ واحد. بازده ناخالص برابر است با ۱۱۰ − ۹۰ = ۲۰ واحد.
2. هزینه‌ی کل را از تعداد معاملات و هزینه‌ی هر رفت‌وبرگشت به دست آورید: ۱۰۰ × ۰٫۲ = ۲۰ واحد.
3. بازده خالص برابر است با بازده ناخالص منهای هزینه‌ی کل: ۲۰ − ۲۰ = ۰ واحد.
4. میانگین خالص هر معامله را با تقسیم بازده خالص بر تعداد معاملات حساب کنید: ۰ ÷ ۱۰۰ = ۰ واحد.

فاصله‌ی ۲۰ واحدی میان بازده ناخالص و خالص، اندازه‌ی اثر هزینه را در همین نمونه نشان می‌دهد؛ نتیجه‌ی خالص صفر است. برای تفسیر، میانگین را کنار تعداد معاملات و پراکندگی نتیجه‌ها بخوانید؛ این محاسبه به‌تنهایی پیش‌بینی عملکرد بعدی نیست.

در تصویر بالا، نمودار کندلی XAUUSD در بازه‌ی روزانه، ۷۰ کندل را از ۱۴ مرداد ۱۴۰۵ تا ۱۹ آبان ۱۴۰۵ نشان می‌دهد؛ بیشینه‌ی بازه ۴۶۹۶٫۴۵، کمینه ۳۸۷۰ و آخرین قیمت پایانی ۴۱۲۶٫۰۷ است. این ارقام، مشخصات همین نمودارند؛ منبع یا کارگزار، منطقه‌ی زمانی و زمان ثبت قیمت پایانی در اطلاعات ارائه‌شده مشخص نیست، پس برای بازنشر آن‌ها را از منبع نمودار تطبیق دهید یا همین محدودیت را کنار تصویر بیاورید. نمودار توالی قیمت را نشان می‌دهد، نه نتیجه‌ی ارزیابی راهبرد.

محاسبه‌ی جداگانه‌ی خارج از نمونه

برای ۲۰ معامله‌ی خارج از نمونه، همان قواعد ورود، خروج و هزینه را به کار ببرید، اما نتیجه را با ۱۰۰ معامله‌ی اصلی مخلوط نکنید. هزینه‌ی کل این بخش ۲۰ × ۰٫۲ = ۴ واحد است؛ بازده ناخالص را از جمع سود برندگان منهای جمع زیان بازندگان حساب کنید و ۴ واحد هزینه را از آن کم کنید. چون تعداد بردها و باخت‌ها و سود یا زیان هر معامله‌ی این بخش مشخص نشده، بازده خالص عددی آن قابل محاسبه نیست؛ این نتایج را جدا ثبت کنید و سپس میانگین خالص را بر ۲۰ تقسیم کنید.

آزمون خارج از نمونه را چگونه اجرا کنیم؟

برای آزمون خارج از نمونه، کل اطلاعات را بر اساس زمان به سه بخش پیوسته تقسیم کنید: بخش طراحی برای ساخت قواعد، بخش آزمون برای بررسی آن‌ها و بازه‌ی خارج از نمونه برای ارزیابی نهایی. ترتیب زمانی بازار را حفظ کنید و اطلاعات را جابه‌جا یا تصادفی نکنید؛ در غیر این صورت، ترتیب رخدادها و شرایط واقعی معامله از بین می‌رود.

قواعد را پیش از آزمون نهایی ثابت کنید

قواعد ورود، خروج و مدیریت معامله را فقط با بخش طراحی بسازید. سپس آن‌ها را در بخش آزمون بررسی کنید و پیش از رفتن به بازه‌ی خارج از نمونه، نسخه‌ی راهبرد را تثبیت کنید. بازه‌ی نهایی را تا آن زمان کنار بگذارید؛ پس از تثبیت، آن را فقط یک‌بار با همان قواعد اجرا کنید.

پیش از مقایسه، معیار اصلی را مشخص کنید؛ مثلاً بازده خالص یا افت سرمایه. هزینه‌ها و شیوه‌ی محاسبه را در بخش آزمون و خارج از نمونه یکسان نگه دارید: همان کارمزد رفت‌وبرگشت، لغزش قیمت و قواعد شمارش معامله را اعمال کنید. اگر روش محاسبه یا هزینه‌ها تغییر کند، اختلاف نتیجه‌ها دیگر فقط بازتاب تفاوت عملکرد راهبرد نیست.

نتیجه‌ها را جدا ثبت کنید

برای هر بخش، نتیجه‌ها را جداگانه گزارش کنید تا معلوم باشد راهبرد در کجا ارزیابی شده است. کنار معیار اصلی، شمار معامله و افت سرمایه را هم بنویسید و بازده خالص خارج از نمونه را با بازده خالص بخش آزمون مقایسه کنید. اگر شمار معامله کم است، میانگین را تنها معیار تصمیم قرار ندهید؛ پراکندگی نتیجه‌ها را نیز بررسی کنید. برای پیگیری تغییرها، هر ویرایش پس از مشاهده‌ی نتیجه را شماره‌گذاری کنید؛ مثلاً «نسخه‌ی ۱» و «نسخه‌ی ۲»، و برای نسخه‌ی تازه یک بازه‌ی مستقل نگه دارید.

چه تفاوتی میان راهبردها و شرایط بازار مهم است؟

بسامد معامله و هزینه‌ی هر بار اجرا، میزان حساسیت راهبرد به کارمزد را تعیین می‌کنند. در مقایسه‌ی راهبرد کم‌معامله و پرمعامله، درصد برد را جدا از هزینه‌ها نسنجید: هزینه‌ی کل را از بازده ناخالص کم کنید و بازده خالص را معیار قرار دهید. برای نمونه، دو راهبرد با درصد برد یکسان را تصور کنید؛ راهبردی که دفعات بیشتری معامله می‌کند، با هزینه‌ی اجرای مشابه در هر معامله، هزینه‌ی کل بالاتری دارد و ممکن است بازده خالص پایین‌تری ثبت کند. پس تعداد معاملات، هزینه‌ی هر اجرا و بازده خالص را کنار هم بخوانید؛ مثال محاسباتی مقاله را در بخش مربوط به محاسبه‌ی بازده خالص ببینید.

عملکرد را به وضعیت بازار تفکیک کنید

نتیجه را جداگانه در دوره‌های رونددار، خنثی و پرنوسان بررسی کنید. میانگین کل به‌تنهایی نشان نمی‌دهد راهبرد در کدام وضعیت افت کرده است؛ برای هر وضعیت، بازده خالص، تعداد معامله‌ها و پراکندگی نتیجه‌ها را کنار هم ثبت کنید. همچنین معامله‌هایی را که همگی به یک حرکت یا رویداد مشترک وابسته‌اند، نمونه‌های کاملاً مستقل به شمار نیاورید: چند معامله‌ی هم‌زمان در یک حرکت، لزوماً چند شاهد جداگانه از پایداری راهبرد نیستند.

برای ساخت زیرنمونه‌ها، این چهار بُعد را بررسی کنید:

کدام خطاها ارزیابی را گمراه می‌کنند؟

نرخ برد به‌تنهایی نمی‌گوید راهبرد سودآور است: آن را کنار میانگین سود معامله‌های برنده و میانگین زیان معامله‌های بازنده بخوانید. برای نمونه، راهبردی می‌تواند معامله‌های برنده‌ی زیادی داشته باشد، اما چند زیان بزرگ نتیجه‌ی کلی را پایین بیاورد؛ در راهبردی دیگر، تعداد بردها کمتر است، اما اندازه‌ی میانگین سود و زیان تصویر متفاوتی می‌سازد. معیار اصلی را پیش از ارزیابی—بازده خالص، افت سرمایه یا نسبت سود به زیان—ثابت کنید و تعداد معاملات را همراه با پراکندگی نتیجه‌ها بسنجید، نه فقط میانگین را.

هزینه‌ها و آزمون خارج از نمونه

حذف کارمزد یا کم‌برآوردکردن آن، ارزیابی را از شرایط اجرای ثبت‌شده جدا می‌کند. اگر در اجرای واقعی معامله‌ها هزینه‌ی رفت‌وبرگشت مشخصی داشته‌اند، همان را در محاسبه وارد کنید و هزینه‌ی معامله‌ها را از بازده ناخالص کم کنید؛ گزارش را هم به دو شکل ناخالص و خالص نگه دارید. مثال اصلی مقاله نشان می‌دهد چرا این دو نتیجه را نباید یکی گرفت.

آزمون خارج از نمونه استقلالش را از دست می‌دهد وقتی چند نسخه را روی همان بازه می‌سنجید و بعد نسخه‌ای را که نتیجه‌ی بهتری داشته انتخاب می‌کنید. این انتخاب، بازه‌ی آزمون را وارد فرایند طراحی می‌کند؛ پس دیگر آن را آزمونی مستقل برای نسخه‌ی منتخب تلقی نکنید. اطلاعات را از ابتدا به بازه‌ی طراحی، آزمون و خارج از نمونه تقسیم کنید و بخش آخر را تا پایان طراحی کنار بگذارید. سپس نتیجه را با همان قواعد ورود، خروج و هزینه‌های آزمون قبلی محاسبه کنید.

تغییر عملکرد یا نوسان نمونه؟

وقتی نتیجه‌ی یک بازه با بازه‌ی دیگر فرق دارد، بپرسید: آیا عملکرد واقعاً تغییر کرده یا این اختلاف در دامنه‌ی نوسان طبیعی نتایج نمونه است؟ یک اختلاف به‌تنهایی پاسخ قطعی نمی‌دهد؛ نتیجه را در چند بازه‌ی زمانی یا شرایط بازاری متفاوت بررسی کنید و پراکندگی معامله‌ها را هم کنار آن ببینید.

1. نسخه‌ی راهبرد و تغییرات هر بار را ثبت کنید تا روشن باشد هر نتیجه به کدام قواعد مربوط است.
2. معیار ارزیابی، قواعد ورود و خروج و روش محاسبه‌ی هزینه را پیش از آزمون ثابت کنید.
3. نتایج خام را نگه دارید و برای هر نسخه، بازده ناخالص و خالص را هم‌زمان گزارش کنید.

چک‌لیست نهایی برای ارزیابی راهبرد

پیش از شروع، یک برگه‌ی ارزیابی بسازید و در آن معیار اصلی را مشخص کنید: بازده خالص، افت سرمایه یا نسبت سود به زیان. کنار آن، معیارهای پشتیبان مثل تعداد معامله‌ها و پراکندگی نتیجه‌ها را ثبت کنید؛ میانگین به‌تنهایی تصویر کاملی نمی‌دهد. برای نمونه، اگر بازده خالص معیار اصلی است، از ابتدا بنویسید افت سرمایه و تعداد معامله‌ها برای تفسیر نتیجه به کار می‌روند، نه برای تغییر معیار پس از دیدن آمار.

1. شناسه‌ی هر معامله را در گزارش ثبت و تطبیق دهید تا یک معامله در شمارش یا جمع بازده دوبار وارد نشود. بازه‌ی طراحی، آزمون و خارج از نمونه را جدا نگه دارید؛ تا پایان طراحی، اطلاعات بخش خارج از نمونه را برای تغییر قواعد ورود یا خروج به کار نبرید.
2. هزینه‌ی رفت‌وبرگشت هر معامله را ثبت کنید و فرض‌های اجرای سفارش، مانند قیمت پرشدن سفارش و لغزش قیمت، روشن بنویسید. در مثال اصلی مقاله، از همان هزینه و قواعد اجرا برای محاسبه‌ی نتیجه استفاده کنید؛ محاسبه‌ی کامل در بخش مثال آمده است.
3. در یک جدول، کنار هم گزارش کنید: بازده ناخالص، بازده خالص پس از کسر هزینه‌ها، تعداد معامله‌ها و افت سرمایه. اگر دو راهبرد بازده ناخالص مشابهی دارند، این جدول نشان می‌دهد هزینه و افت سرمایه چگونه تصویر مقایسه را تغییر می‌دهند.
4. زیرنمونه‌ها، مانند دوره‌های زمانی یا شرایط بازار، را فقط بر پایه‌ی پرسش‌هایی بررسی کنید که پیش از دیدن نتیجه ثبت کرده‌اید. برای مثال، اگر از قبل پرسیده‌اید راهبرد در دو وضعیت بازار چگونه عمل می‌کند، همان مقایسه را گزارش کنید؛ پس از مشاهده‌ی نتیجه، زیرنمونه‌ی تازه‌ای برای توجیه عملکرد انتخاب نکنید.