Como discutido no livro Operando com Trading Systems na Bolsa de Valores, uma das etapas na construção de um trading system é o chamado backtesting que consiste em aplicar as regras da estratégia sobre uma base histórica e avaliar se o resultado foi satisfatório ou o sistema precisa de correções. Em geral, os traders tentam otimizar os parâmetros da estratégia mas qualquer descuido pode acabar causando o chamado overfitting, isto é, o sistema acaba se ajustando demais a série histórica.
Uma forma de tentar reduzir essa possibilidade é fazer uso da Análise Walk- Forward que consiste em dividir a série histórica dos preços em uma parcela (in sample - IS) para treinar o sistema e em seguida testar os parâmetros otimizados no restante da série (out of sample - OOS) ainda desconhecido pelo trading system. Esse processo pode ser repetido sobre segmentos subsequentes como mostra a animação (leia o artigo do site Amibroker). Vale destacar que é comum o tamanho da série de teste ser 20/30% do tamanho da série de treinamento.
Uma forma de tentar reduzir essa possibilidade é fazer uso da Análise Walk- Forward que consiste em dividir a série histórica dos preços em uma parcela (in sample - IS) para treinar o sistema e em seguida testar os parâmetros otimizados no restante da série (out of sample - OOS) ainda desconhecido pelo trading system. Esse processo pode ser repetido sobre segmentos subsequentes como mostra a animação (leia o artigo do site Amibroker). Vale destacar que é comum o tamanho da série de teste ser 20/30% do tamanho da série de treinamento.
A partir dessa técnica é possível avaliar se o trading system é robusto ou se o desempenho gerado na série de treinamento foi resultado de fitting e por isso não se repetiu na série de teste. No caso do Amibroker podemos escolher diferentes critérios de otimização que não necessariamente precisa ser a calibração com maior lucro.
No exemplo foi tomado o período de julho de 2005 a junho de 2008 como base de treinamento (in sample), a série desconhecida (out of sample) abrangeu de julho de 2008 a outubro de 2009 e o conjunto foi dividido em 3 segmentos (step). Além disso, a métrica de otimização escolhida foi o CAR/MDD (retorno anual/max. drawdown). Essa configuração foi aplicada sobre um sistema que trabalha com o diário de WEG ON (capital de R$ 20 mil):
A tabela mostra os resultados dos três segmentos e como era de se esperar as amostras otimizadas apresentaram resultados muito maiores que as séries de testes. Mesmo assim o sistema conseguiu ser rentável em todas as ocasiões.
No exemplo foi tomado o período de julho de 2005 a junho de 2008 como base de treinamento (in sample), a série desconhecida (out of sample) abrangeu de julho de 2008 a outubro de 2009 e o conjunto foi dividido em 3 segmentos (step). Além disso, a métrica de otimização escolhida foi o CAR/MDD (retorno anual/max. drawdown). Essa configuração foi aplicada sobre um sistema que trabalha com o diário de WEG ON (capital de R$ 20 mil):
A tabela mostra os resultados dos três segmentos e como era de se esperar as amostras otimizadas apresentaram resultados muito maiores que as séries de testes. Mesmo assim o sistema conseguiu ser rentável em todas as ocasiões.
Finalmente, os resultados entre 2010 e 2014 foram em sua grande maioria positivos utilizando a calibração gerada pelo último segmento (maio/2006-abril/2008). Na verdade, a estratégia só sofreu um grande choque em Julho de 2011.
