Presiona ENTER para ver los resultados o ESC para cancelar.

¿Cómo saber si un growth hack está dando resultado?

Después de un montón de tiempo sin escribir vuelvo a las andadas, si alguno ya me había dado por muerto, se equivocaba 😉

Hoy te voy a hablar de un asunto de gran importancia en el growth hacking y que la mayoría de gente no comprende bien o no lo pone en práctica, cómo saber si una táctica, técnica o growth hack ha funcionado.

Digamos que has seguido todo el proceso de la máquina del crecimiento; has planteado una hipótesis, has diseñado un experimento, lo has puesto en práctica, y dos semanas después vas a las analíticas a ver qué ha pasado. ¿Cómo puedes saber a ciencia cierta si el experimento ha sido un éxito, un fracaso o si no ha sido concluyente? Sí, acostúmbrate, la mayoría de los experimentos no son concluyentes.

El peligro de no conocer el método para saber si un experimento ha sido concluyente, es que vamos a tender a ver el resultado que nosotros queremos, es decir, vamos a ver el vaso medio lleno cuando quizás esté medio vacío, y esto puede hacerte creer que has aprendido algo y no ser cierto.

Concretemos un poco más con un caso real.

Comprobando los resultados de un test A/B real

En Endado.com cerramos muchas ventas online gracias a la combinación de Adwords + landing pages. Las landing pages, diseñadas con Instapage, está orientadas a cerrar ventas por teléfono, bien porque el cliente nos llame directamente, o bien porque deje su teléfono para que le llamemos.

Para mejorar la tasa de conversión de estas páginas, suelo hacer tests A/B probando a hacer cambios en los títulos, formularios y llamadas a la acción.

El caso que quiero contarte es el de una landing donde vendemos amortiguadores de la marca Kayaba.

El formulario de la versión original tiene 4 campos:

Versión A de landing de kayaba

 

Mi hipótesis era que reduciendo los campos del formulario de 4 a 2, aumentaría la tasa de conversión gracias a que el cliente potencial tendría que rellenar menos información.

Es una landing page con poco tráfico, así que imaginé que necesitaría al menos 2 meses para sacar conclusiones.

Estos fueron los resultados que me indicaba Instapage después de dos meses:

Resultados test ab después de dos meses

 

Como ves, lo que decía Instapage es que la versión B (la del formulario corto), tenía un 38% menos de conversión que la A.

Mucha gente habría dejado aquí el experimento concluyendo que la hipótesis era errónea, pero yo me fijé en que el número de conversiones de ambas landing era muy reducidas, 7 en la A y 4 en la B.

Recuerda esto: siempre que un experimento tenga pocas conversiones, es muy probable que no sea estadísticamente significativo y por lo tanto no puedas sacar conclusiones.

¿Qué es la prueba Chi-cuadrado?

Antes de seguir con mi historia, te voy a explicar de manera muy sencilla qué es Chi-cuadrado y por qué es la protagonista de esta historia.

La prueba del Chi-cuadrado sirve para comprobar en una hipótesis si dos variables están o no relacionadas.

En nuestro caso, queremos saber si número de campos del formulario está relacionado con la tasa de conversión.

Si quieres profundizar un poquito más sobre las tripas del chi-cuadrado y cómo se calcula, te recomiendo este vídeo de 5 minutos.

Haciendo la prueba Chi-cuadrado

Ya tienes una idea teórica de cómo funciona la prueba del chi-cuadrado, y sabes que su fin es poder confirmar si dos variables están relacionadas, algo muy útil siempre que hagamos test A/B de cualquier tipo.

Afortunadamente no tienes que hacer los cálculos por ti mismo, hay docenas de calculadoras en internet que lo hará por ti. Personalmente uso la de la web de Evan Miller donde también encontrarás otras calculadoras estadísticas muy útiles.

Con los datos que obtuve de Instapage, me fui a la calculadora y este fue el resultado:

Resultados de la prueba chi-cuadrado

 

Hay dos cosas importantes en las que debes fijarte cuando hagas esta prueba.

  • Significancia estadística. Como ves, la calculadora nos dice que no existe una significacia estadística, es decir, podemos decir que no hay relación entre las dos variables.
  • Nivel de confianza. Puedes modificar el slider. Por defecto está al 95%, lo que quiere decir que en caso de que el veredicto sea significativo, el % de error de la prueba es del 5%, algo bastante asumible.

En otras palabras, para saber si hay diferencias en la tasa de conversión de ambas páginas, tenía que seguir recopilando datos hasta que la prueba chi-cuadrado sea significativa.

Después de estos resultados, me puse en modo paciencia = ON y 3 meses después he vuelto a revisar las métricas de Instapage. Estos son los resultados:

Resultados del test AB después de 5 meses

 

Esta vez Instapage da a la versión B, un 17% menos de conversión que a la A. Si recuerdas, en la primera comprobación, el empeoramiento era del 38%.

Vuelvo a la calculadora Chi-cuadrado y estos son los resultados:

Resultados prueba chi-cuadrado después de 5 meses

 

Como puedes observar, esta vez he reducido el nivel de confianza al 85% y aún así, los resultados siguen sin ser significativos.

¿Qué hacer cuando no consigo resultados significativos?

Después de 5 meses con este test A/B, puede parecer que ha sido una pérdida de tiempo, ya que no he conseguido resultados significativos, pero. Sin embargo, un test A/B bien realizado nunca es una pérdida de tiempo, siempre aprendes algo. En este caso, aunque la muestra no es excesivamente grande, me atrevo a decir que el cliente potencial que está entrando a nuestra landing a través de Adwords no rellena el formulario o deja de rellenarlo por un par de campos adicionales, y ese es un aprendizaje importante que debemos anotar en las conclusiones de nuestro experimento.

Como curiosidad, este experimento lo hice con otra landing similar, esta vez de amortiguadores Bilstein, y el resultado fue contundente, un formulario con menos campos suponía una menor conversión (50% menos).

¿Cuándo es el momento de parar?

Puede parece que el momento de parar un experimento es cuando obtienes resultados significativos, pero eso no es lo adecuado, en realidad, en este este experimento nos hemos saltado un paso importante, definir qué consideramos éxito.

Si la landing A tenía un histórico de conversión del 9% cuando planteé el experimento, primero debería haber definido cuál era el incremento/decremento en la conversión para dar por finalizado el experimento. Por ejemplo, podría haber fijado un incremento o decremento del 15%.

Una vez establecido este objetivo, tendría que haber ido la web de Evan Miller y haber seleccionado la calculadora Sample Size. Si meto los datos, fíjate en el resultado:

Tamaño de la muestra parar parar el test AB

 

Es desalentador… 🙁 Para validar el experimento necesitaría al menos 6.698 visitas a cada una de las versiones de la landing.

Si juegas un poco con esta calculadora verás que cuanto mayor es el incremento/decremento que fijes para parar el experimento, menor será la muestra que necesites. Por ejemplo, si me hubiese puesto como objetivo un incremento del 50%, habrían sido suficientes 627 visitas por variación.

Resumiendo

Cuando vayas a realizar un experimento, sé metódico, no te saltes pasos:

  1. Define la hipótesis y fija el porcentaje de incremento o decremento que consideras éxito.
  2. Usa la calculadora de Evan Miller para conocer la muestra que necesitas
  3. Una vez recibidas todas las visitas indicadas por la muestra, comprueba si el experimento ha sido significativo con la prueba chi-cuadrado.
    1. Si lo ha sido, enhorabuena
    2. Si no lo ha sido, lo ideal es aumentar la muestra o reducir el nivel de confianza

Espero que este caso práctico te haya resultado útil, sería genial que en los comentarios pongas algún experimento similar que hayas hecho y qué método has utilizado.

¡Hasta la próxima!

Si te ha gustado este artículo, suscríbete gratis

(y te llegarán todas las semanas tácticas y casos prácticos de growth hacking que harán crecer tu startup)

Comentarios

5 comentarios

Alejandro Novás

Que no estaba muerto, estaba de parranda!! Jaja

Que bueno volverte a leer Val!!

Y a la carga con un contenido práctico, así me gusta tío!

Un abrazo enorme!

Val Muñoz de Bustillo

Gracias Alejandro, la verdad es que tenía ganas de volver al ruedo, solo he necesitado un poco de tiempo y ¡tachán! 🙂
Un abrazo

Antonio Godoy

No te haces a la idea de lo bien que me vienen esas calculadoras.

El artículo excelente, como siempre (aunque es la primera vez que comento :P). Pero te quería preguntar algo que tiene más que ver con lo metodológico que con el contenido del post:

¿Cómo crees que afectan los diferentes sesgos cognitivos (confirmación, observador excpectante, etc.) a este tipo de experimentos? ¿Cómo tratas de sobreponerte a ellos?

Un saludo!

Val Muñoz de Bustillo

Hola Antonio, gracias por comentar!

Los sesgos congnitivos son parte de la naturaleza humana, y como tal, en experimentos abiertos donde nosotros no hacemos una selección de una muestra si no que la muestra es aleatoria, no debemos preocuparnos por ello.

Lo que debe preocuparte es tener una muestra lo más grande posible.

Saludos!

#Growth Hacking : ¿Cómo saber si un growth hack está dando resultado?  | Emprendedores

[…] Sourced through Scoop.it from: growthhackinglabs.com […]


Deja un comentario

Time limit is exhausted. Please reload CAPTCHA.