Análisis de resultados de un sistema de trading

Nos vamos a centrar en el análisis de los resultados. Trataremos cómo construir los ratios, tablas y gráficos que sirven para evaluar el resultado o performance obtenido por nuestro sistema y, en definitiva, analizaremos su bondad para poder compararlo con otros sistemas y estrategias.

La ventaja de la aplicación de sistemas de trading sobre otras estrategias está en poder observar y evaluar estos datos y poder así trabajar con un modelo que sea completamente objetivo, la estadística no nos engaña y nos dirá siempre lo que realmente sucedió. Para la explicación de esta estadística básica, hemos establecido una clasificación del análisis en función al tipo de herramientas utilizadas y a la importancia relativa: Análisis numérico o de ratios, Análisis gráfico y Análisis temporal.

Existen infinidad de ratios y estudios para realizar la evaluación, sin embargo estos escapan al objeto del presente artículo. Vamos a abordar el problema desde un nivel introductorio y a medida que el lector vaya profundizando en este apartado irá ampliando las herramientas utilizadas, incrementando la complejidad y riqueza del estudio, aunque como en muchos otros apartados de la creación de sistemas, las cosas sencillas y lógicas son las que mejor funcionan y en muchas ocasiones nos complicamos la vida en exceso.

Para el estudio del performance del sistema he tomado el sistema tendencial más sencillo y conocido que existe, un sistema de cruce de medias móviles simples con precio de cierre, con las siguientes características:

El software utilizado para la explicación es el TS2000i de TradeStation Technologies Inc., ya que es la plataforma comercial más completa para el desarrollo de Sistemas de Trading. Existen, además de este, una gran variedad de programas como MetaStock, WealthLab o VisualChart con los que también podemos construir, evaluar y aplicar nuestra estrategia.

 

Objetivo de la evaluación de resultados de un sistema de trading

Para empezar, en ningún momento debemos olvidar el objetivo final del desarrollo de un sistema de trading: Lo que realmente buscamos es la obtención de un beneficio monetario con la aplicación posterior de la estrategia diseñada, por lo que antes de implementar el sistema tenemos la obligación de evaluar e interpretar los resultados obtenidos para dar respuesta a las siguientes preguntas:

I. ¿Qué probabilidad existe de que el rendimiento futuro del sistema se asemeje al rendimiento pasado arrojado por el backtesting?
II. ¿Cuáles son los principales riesgos del sistema y la rentabilidad esperada?
III. ¿Cómo se puede comparar dos o más sistemas para ver cuál se ajusta más a mis necesidades como inversor?
IV. ¿Es posible, antes de implementar el sistema en tiempo real, establecer unos niveles de alerta que nos avisen sobre el incorrecto funcionamiento del sistema durante su implementación?

 

Análisis numérico o de ratios de un sistema de trading

Constituye la parte más importante de nuestro trabajo de análisis y para su estudio contamos con dos tablas: la Figura 1 representa el resultado global, tomado como suma de posiciones largas y cortas y la Figura 2 toma ambas posiciones de forma independiente. Es muy importante separar las posiciones cortas de las largas para evaluar si nuestro sistema debe ser aplicado sólo en una de las direcciones o para detectar errores en el desarrollo del mismo.

En determinadas ocasiones estaremos buscando sistemas que operen sólo en un lado del mercado, ya sea por limitaciones técnicas, casi siempre relacionadas con la posición corta, o por nuestras necesidades de inversión. Por lo tanto, las conclusiones extraídas de la Figura 1 son en todo caso extrapolables a la Figura 2.
 

Net Profit (Resultado Neto). Este es el primer número en el que nos fijamos al realizar un sistema. Esta compuesto por la suma de todas las operaciones ganadoras menos la suma de todas las operaciones perdedoras. En cada operación está descontado el gasto de comisiones y slippage. Si el objetivo de cualquier estrategia es ganar dinero, ¿Cuánto gana nuestro sistema?. Nuestro primer objetivo es conseguir que este importe sea positivo. Muchos iniciados consideran este punto como el más importante para implementar el sistema en tiempo real, sin embargo, se trata de una condición necesaria pero no suficiente para valorar nuestro sistema y tenemos que evaluar esta cifra junto con el resto de variables que mostramos a continuación, el resultado neto es simplemente un filtro inicial. En nuestro ejemplo vemos que el resultado Neto es de 91.316 €, habiendo realizado 564 operaciones (n=564).

 

Maximum Drawdown (Reducción Máxima). Este es el dato más importante en la evaluación de los resultados. El Drawdown máximo es la mayor caída de los resultados, en términos monetarios, desde un pico hasta un valle y resulta una medida excepcional del riesgo máximo del sistema. Vamos a distinguir entre:

Drawdown inicial. Sólo nos interesa la reducción tomada desde el inicio del funcionamiento del sistema.
Drawdown completo. Tomamos todas las reducciones durante la vida del sistema, es por lo tanto más conservadora que la anterior y es la recomendada.
Drawdown diario. Toma para su cálculo sólo los precios de cierre (datos diarios) de las sesiones o del cierre de las posiciones.
Drawdown Intradiario. Toma para el cálculo de la reducción todos los valores ocurridos durante la sesión (datos intradiarios), es más conservadora que la anterior y por supuesto, la recomendada.


En la figura 1, vemos que TradeStation trabaja con un Drawdown Intradiario y Completo, tomando el caso más perjudicial para nosotros. Algunos autores aplican un coeficiente multiplicador a este Drawdown (multiplicado por 1.5 o por 2), para hacerlo todavía más conservador o realizan una Simulación de Montecarlo (estimación autosuficiente o Bootstrap), para intentar llegar al peor de los escenarios posibles. En nuestro ejemplo vemos que el Drawdown intradiario máximo asciende a 10.084 €, por lo que debemos contar en nuestra cuenta con esta cantidad más la garantías exigidas (en nuestro ejemplo 7.000 €) para acometer la mayor serie de pérdidas del sistema.

“El uso de las estadísticas históricas producen una efecto tranquilizador, sobre todo en lo relativo a las pérdidas. El conocimiento de dicha estadística, nos aportará la serenidad suficiente para sobrevivir cuando estemos en un DrawDown”. Charlie F. Wright

Return on Account (Rentabilidad de la Inversión). Se trata de una combinación de los dos números anteriores para crear un ratio formado por el resultado neto en el numerador y la inversión inicial más el Drawdown máximo en el denominador. Nos ofrece el rendimiento obtenido en función al dinero necesario para obtener dicha rentabilidad, y constituye un ratio fundamental para comparar nuestro resultado con otras formas de inversión. En nuestro ejemplo vemos como este ratio es de 534,51% o 5,34 y la interpretación es sencilla: Por cada euro inmovilizado en el sistema hemos obtenido 5,34 €. Otra forma muy conocida de medir la relación Riesgo/Recompensa es mediante el ratio de Sharpe, cuya formula exponemos a continuación.

Profit Factor. Ratio formado por el total aportado por las operaciones ganadoras en el numerador y el total aportado por las operaciones perdedoras. Se trata de un número que nos indica cuantas veces excede el importe aportado por las buenas operaciones sobre el importe detraído del resultado final por las operaciones perdedoras. En nuestro ejemplo el Profit Factor es de 1,48.

Número Total de operaciones. Intentaremos siempre contar con el mayor número posible de operaciones para mejorar la robustez del sistema, en nuestro ejemplo n=564, lo que supone una muestra suficiente para dar validez al resto de datos analizados.

“Cuanto mayor sea el número de operaciones en una muestra, mejor será la estimación de las propiedades medias del universo total”. Tushar Chande


Percent Profitable (Fiabilidad). Ratio formado por el número de operaciones ganadoras (258) dividido por el número de operaciones perdedoras (306). En nuestro ejemplo la fiabilidad es del 45,74%, porcentaje más que aceptable para un sistema seguidor de tendencias.

AverageWin/AverageLoss (Promedio de las operaciones). Es la expectativa matemática de nuestro Sistema, y lo podemos expresar como ratio entre lo que ganan las operaciones buenas y lo que pierden las operaciones malas, en nuestro ejemplo este ratio es de 1.76, es decir, que contamos con una expectativa matemática positiva, y también se puede expresar como promedio monetario de cada operación, en nuestro ejemplo cada operación, en media, genera 161,91 €.

Análisis Gráfico de Sistemas de Trading 

Mediante el análisis gráfico vamos a obtener, de forma visual, una buena aproximación sobre la bondad del sistema. En paquetes como TradeStation es posible realizar una gran cantidad de gráficas sobre nuestro modelo (Eficiencia, MAE, MFE, Drawdowns, Run-ups, etc), que escapan al objeto de esta breve explicación, por lo que nos vamos a referir a los dos gráficos que considero más importantes: 

Equity Curve (Curva de Resultados). También denominada Equity Line, es la representación gráfica de nuestro resultado neto. En el eje de ordenadas tenemos el número de operaciones que realizamos y en el eje de abscisas el resultado neto que va a acumulando el sistema, partiendo de un capital inicial que en el ejemplo de la Figura 3 es de 100.000 € . Para que nuestro sistema sea fiable vamos a buscar curvas de resultados que asciendan de forma constante, sin movimientos bajistas bruscos, como la que se expone a continuación:

Figura 3. Equity Curve o Curva de Resultados

Resultados Netos Mensuales. Como podemos observar en la figura 4, cada mes representa una barra, cuyo color vendrá determinado por el resultado neto del mes, verde para lo meses positivos y rojo para los negativos, de esta forma podremos comprobar si el resultado total se debe a algún dato atípico (en este caso mes atípico) o si existen muchos meses con saldo neto negativo, lo que supondría un serio problema relacionado con la disciplina necesaria para operar con el sistema. El objeto de este gráfico es el de verificar la homogeneidad del sistema en una escala mensual, ya que sabemos que nos vamos a encontrar operaciones perdedoras, pero los resultados mes a mes nunca arrojan grandes pérdidas. 
 

Figura 4. Resultados Netos mensuales

Análisis Temporal de Sistemas de Trading 

El análisis temporal no cuenta con la relevancia del análisis de ratios o el gráfico y su mayor utilidad es la de servirnos como indicador de como va a ser la operativa durante la implementación del sistema en tiempo real. Al haber seleccionado un sistema seguidor de tendencia puro estaremos siempre en mercado, ya sea mediante posición larga o corta. Como vemos en la figura 5, estamos en el mercado el 99,73% del tiempo total utilizado para el backtesting, por lo que si utilizáramos este método para operar nos mantendremos siempre posicionados. 

También es importante analizar el periodo medio de duración de cada operación que en nuestro ejemplo es de 1.29 días, por lo que en media, al abrir una posición tendremos que esperar al día siguiente para cerrarla. Los sistemas seguidores de tendencia siguen la máxima de “Dejar correr los beneficios y cortar rápidamente las pérdidas”, es lo que uno de los maestros en el desarrollo de sistemas, Tushar Chande denomina sistemas TOPS COLA (Take Our Profits Slowly, Cut Our Losses At once), nuestro sistema cumple este principio ya que las posiciones ganadoras se mantienen, en media, 1.67 días, mientras que las perdedoras no llegan al día (0.96). 

Como podemos comprobar con el resto de variables, este tipo de análisis nunca supondrá una restricción a no utilizar el sistema, sino que simplemente nos ayudará a mantener la confianza en el en el mismo durante su implementación en el mercado. Cuanto más sepamos sobre el comportamiento del sistema, mejor rendimiento le sacaremos en su implementación.

Figura 5. Tabla de Análisis Temporal

Como saber si nuestro sistema ha dejado de funcionar

Supongamos que nuestro sistema ha pasado todas las pruebas a las que le hemos sometido y no sólo ha superado con creces el control de calidad establecido si no que lo ha hecho con nota, por lo que nos hemos decidido a pasar a la fase de implementación. Tras un periodo inicial de buen funcionamiento y beneficios, el sistema parece que ha dejado de funcionar y se ha convertido en una máquina de perder dinero, ¿se trata de una mala racha o es que el sistema no es tan bueno como nos parecía?. 

Lo primero que vamos a verificar es que si estamos utilizando un sistema seguidor de tendencia, éste no ha dejado pasar ninguno de los grandes movimientos del mercado para los que fue ideado. Como vimos en el artículo sobre la tipología de sistemas, los seguidores de tendencia son rentables a largo plazo debido a que se mantienen mucho tiempo en mercado y el resultado final depende de unas pocas operaciones (regla 80-20 de Pareto). Si nuestro sistema ha dejado pasar una de estas grandes operaciones, es que ya no merece la pena seguir utilizándolo. 

Si estamos operando con un sistema seguidor de tendencia y hemos entrado en un periodo lateral, vamos a perder dinero ya que este tipo de operativa siempre lo hace en los mercados laterales y lo que tenemos que hacer es armarnos de paciencia y esperar a la rotura del rango lateral. Si estamos empleando un sistema de explosión de volatilidad, nos saltará la alarma cuando la fiabilidad del sistema esté por debajo de la fiabilidad media, que para este tipo de sistemas es más elevada que para los seguidores de tendencia. 

Otra señal de aviso que podríamos utilizar es la relacionada con el máximo Drawdown, si por ejemplo nuestro sistema ha entrado en un Drawdown que excede al histórico en un 50 o 100%, se debe cortar la operativa y revisar el sistema. 

“La evaluación de sistemas de trading no es un arte, sino una ciencia. Existe un procedimiento claro, con un rango definido de resultados aceptables. Toda vez que hemos definido estos límites, la evaluación debe convertirse en algo rutinario. Cuando los resultados obtenidos al implementar el sistema se alejen de estos parámetros establecidos, el sistema deberá ser revisado. La detección temprana de un mal sistema es tan importante para nuestra salud financiera a largo plazo, como lo es el desarrollo del propio sistema”. Charlie F. Wright 
 

Conclusión sobre análisis de resultados de Sistemas de Trading 

En este artículo se ha pasado revisión a las principales herramientas que nos ofrece cualquiera de los muchos paquetes de análisis técnico (en nuestro ejemplo hemos usado TS2000i) para evaluar los resultados de un Sistema de Trading Mecánico, separando esta evaluación en tres apartados que son de mayor a menor importancia: Análisis numérico, Análisis Gráfico y Análisis Temporal. Nos hemos centrado en los aspectos fundamentales de la evaluación, por lo que existirán además de los mencionados numerosos ratios, gráficos y tablas complementarios. Como conclusión a lo expuesto propongo una serie de puntos que debemos recordar cada vez que nos propongamos evaluar un nuevo sistema de trading. 

Nuestro objetivo está en la búsqueda de un sistema con el mayor Resultado Neto posible, sin embargo, no tenemos que cegarnos por estos beneficios, debemos concentrar nuestros esfuerzos en un sistema que haya ganado dinero en el pasado y que, sobretodo, sea lo suficientemente robusto como para mantener los beneficios en el futuro. 

La evaluación de resultados es una herramienta muy potente que nos va a servir para dar el visto bueno al sistema y para saber como reaccionar durante la fase de implementación del sistema, fase para la que no estamos emocionalmente preparados y en la que tendremos que luchar contra nuestra naturaleza humana. 

Cualquier desviación del sistema, en su etapa de implementación en tiempo real, ya sea positiva o negativa debe ser objeto de estudio y reflexión para verificar que los parámetros establecidos en el modelo siguen siendo útiles. 

Si queremos que nuestra cuenta de resultados refleje los números que arroja el backtesting de nuestros datos históricos, estaremos obligados a realizar todas las operaciones que nos dicta el sistema, esto es mucho más complicado de lo que parece y por lo general siempre que empezamos a operar según las señales de un sistema, pensamos que podemos mejorar las estadísticas si cambiamos algunas señales. La experiencia de las pérdidas le demostrará que a la larga su sistema habrá generado más dinero que su operativa discrecional. 

Verifique que la curva de resultados del sistema (Equity Line) sube de manera estable y sin caídas bruscas. 

Cuanto mayor sea el número de operaciones generadas por un sistema en la fase de backtesting, mayor fiabilidad tendrá el resultado obtenido. 

Probablemente, el punto más importante de la evaluación de un sistema está en el máximo Drawdown intradiario, ya que este es el verdadero coste de operar con el sistema. Si no somos capaces de soportar esas pérdidas, no debemos operar con el sistema. 

Si está desarrollando un sistema que opera en el lado largo y en el corto, analice ambas estadísticas de forma independiente, ya que puede que nuestro sistema necesite cambiar los parámetros dependiendo de la posición o que funcione sólo con largos o sólo con cortos. 


Bibliografía recomendada: 

“Análisis Técnico de los mercados financieros”. John J. Murphy. 
“Cybernetic Trading Strategies”. Murray A. Ruggiero Jr. 
“Trading as a Business”. Charlie F. Wright. 
“Encyclopedia of trading strategies”. Jeffrey Owen y Donna Mc Cormick.