Pruebas A/B

Hay muchos métodos que puede utilizar para realizar una prueba de hipótesis y algunos son más relevantes que otros cuando se aplican a ciertos problemas. Uno de los métodos de prueba de hipótesis más comunes es una prueba A/B. 

Una prueba A/B compara dos valores diferentes de la misma variable para determinar qué valor es el más eficaz. Un caso de uso común es presentarles a los usuarios en línea dos versiones diferentes de la misma página web y, a continuación, elegir la página que conduce a la mayor cantidad de participación del usuario (por ejemplo, si los usuarios siguen vínculos a otras páginas del sitio). El grupo A vería la nueva versión de la página web, mientras que el grupo B actuaría como un grupo de control y vería solo la página web original. Por lo tanto, su hipótesis podría ser que agregar un elemento específico de la interfaz de usuario (UI) lleva a que más usuarios sigan un vínculo a un artículo. La hipótesis nula indicaría que este elemento de la interfaz de usuario no tiene ningún efecto real en si los usuarios siguen o no el vínculo.

Figura 1. Una prueba A/B en la que se muestran dos páginas web ligeramente diferentes a dos grupos de usuarios.

Las pruebas A/B han existido por un tiempo y no requieren de aprendizaje automático. Simplemente puede mostrarles a la mitad de los usuarios la página web A y a la otra mitad la página web B y, a continuación, calcular alguna variable de destino que indique la eficacia de la página (por ejemplo, la duración total del tiempo que se pasa en la página). Por último, descubre qué página web lo hizo mejor. Sin embargo, el mundo real no es tan simple. Hay muchos factores complejos que pueden contribuir a la efectividad de una página web, como la demografía de los usuarios y cómo accedieron a la página. También hay muchas más formas de medir la efectividad de una página más allá del tiempo que se pasa en la página.

Con suerte, está empezando a ver por qué un enfoque tradicional para las pruebas A/B no es el más efectivo. Ingresar al aprendizaje automático. Si recopila toda esta información, podría compilarla en un conjunto de datos de entrenamiento e introducir esos datos en uno o varios algoritmos para generar modelos de aprendizaje automático. Estos modelos podrían ser útiles de varias maneras. Por ejemplo, podría determinar que mostrar la página web A a los usuarios en un determinado rango de edad es mejor que mostrarles la página web B. El punto es que el aprendizaje automático puede mejorar drásticamente la efectividad de dichas pruebas, ya que hace un buen trabajo al tratar las complejidades del mundo en general.

Más casos de uso de pruebas A/B

Además del ejemplo común de cambio de una página web, algunos casos de uso adicionales para las pruebas A/B incluyen:

Información adicional