• Home
• Acerca
• CURSOS
• BLOG
• CONTACTO

Uvigo

• Tutoriales: Análisis de Datos con Python

Learn to code-Code to learn

%%HTML
<script src="require.js"></script>

A/B test

El A/B testing es una herramienta estadística que intenta evaluar si es posible generar más beneficio con un tráfico relativente similar modificando, por ejemplo, el color de la página web.
En profano, consiste en comparar dos versiones de una misma página web o dos campañas de marketing online para comprobar cuál de las dos versiones es más eficiente. La idea es mostrar variaciones de forma aleatoria y evaluar el ouptut con métodos estadísticos.



Más concretamente, una prueba AB es un ejemplo de prueba de hipótesis estadística, un proceso mediante el cual se formula una hipótesis sobre la relación entre dos conjuntos de datos y esos conjuntos de datos se comparan entre sí para determinar si existe una relación estadísticamente significativa o no.

Para entender en qué consisten las pruebas A/B, consideremos dos diseños alternativos A y B. A los visitantes de un sitio web se les sirve aleatoriamente uno de los dos. A continuación, se recogen datos sobre su actividad mediante la analítica web. A partir de estos datos, se pueden aplicar pruebas estadísticas para determinar si uno de los dos diseños tiene mejor eficacia.



Podríamos mirar distintos outputs. Por ejemplo, con métricas discretas que toman valores 0 y 1 se podrían analizar:
- Click through-rate: si se muestra un anuncio a un usuario, ¿hace clic en él? Si: 1, No: 0
- Conversion rate: si se muestra un anuncio a un usuario, ¿se convierte en cliente? Si: 1, No: 0
- Bounce rate: si un usuario visita un sitio web, ¿la siguiente página visitada está en el mismo sitio web? Si: 1, No: 0

Dado que la asignación de las distintas opciones es aleatoria, en media los individuos deberían ser iguales, entre todos aquellos que se autoseleccionan para visitar la página web.

En este tutorial vamos a utilizar datos de un experimeto AB para evaluar cuál de los dos diseños, A o B, es más eficiente en términos de conversion rates.

El experimento se desarrollo por 180 días en un e.commerce de ropa.
Estamos llevando a cabo una campaña online A por un período de tiempo. Pero queremos probar una nueva campaña B, para ver si se desempeña mejor que la anterior.

¿Cómo podemos saber cuál campaña es mejor?

Experimento: vamos a presentar la campaña A y la campaña B de forma aleatoria a los potenciales clientes -usuarios de la web-.

El output que vamos a utilizar será el conversion rate (e.g., click en carro de compras) per click en el adword.

Se va a correr el experimento por seis meses, durante el cuál obtendremos los daily clicks y conversions rate de cada campaña.
Utilizaremos estos datos para determinar qué campaña es mejor.

import pandas as pd

ab_df = pd.read_pickle("AB_test_data.pkl")
ab_df.head()

	dias	fin_semana	click_a	click_b	conversion_a	conversion_b
0	0	1	1254	780	126	88
1	1	0	1147	1011	116	96
2	2	0	678	1040	67	105
3	3	0	968	932	94	89
4	4	0	899	735	93	71

ab_df.describe()

	dias	fin_semana	click_a	click_b	conversion_a	conversion_b
count	180.000000	180.000000	180.000000	180.000000	180.000000	180.000000
mean	89.500000	0.272222	990.883333	1001.366667	98.033333	102.472222
std	52.105662	0.446345	187.278369	194.521125	19.092805	21.424006
min	0.000000	0.000000	542.000000	602.000000	51.000000	59.000000
25%	44.750000	0.000000	867.000000	876.750000	86.000000	88.000000
50%	89.500000	0.000000	973.000000	979.000000	96.000000	99.500000
75%	134.250000	1.000000	1106.250000	1143.500000	110.000000	116.250000
max	179.000000	1.000000	1449.000000	1448.000000	148.000000	159.000000

Primer análisis

cols = ab_df.columns[2:6]
total = []
for i in cols:
    total.append(ab_df[i].sum())
    
print(f"Tasa de conversión campaña A:{total[2]/total[0]: 0.4f}")
print(f"Tasa de conversión campaña B:{total[3]/total[1]: 0.4f}")

Tasa de conversión campaña A: 0.0989
Tasa de conversión campaña B: 0.1023

# Los valores anteriores son el total de los 180 dias en los que se experimentaron las dos opciones.
# Podríamos preguntarnos a qué convergen estos valores acumulados a media en que van pasando los dias.
cols = ab_df.columns[2:6]

for c in cols:
    name = "accu_" + c
    ab_df[name] = ab_df[c].cumsum()
    
ab_df["accu_cr_a"] = ab_df["accu_conversion_a"]/ab_df["accu_click_a"]
ab_df["accu_cr_b"] = ab_df["accu_conversion_b"]/ab_df["accu_click_b"]

import plotly.express as px
import plotly.io as pio
pio.renderers.default='notebook'

fig = px.line(ab_df, x ="dias", y=["accu_cr_a", "accu_cr_b" ])

fig.update_traces(marker_size=5)
fig.update_xaxes(title_text="Días")
fig.update_yaxes(title_text="Conversion rate")
fig.update_layout(
    #font_family="cursive",
    font_color="green",
    title_font_family= "Times New Roman",
    title_font_color="black",
    legend_title_font_color="green",
    yaxis_zeroline=False, xaxis_zeroline=False,
    #esto lo agrege para la linea vertical
    showlegend = True,
    hovermode  = 'x',
    spikedistance =  -1,
    xaxis=dict(showspikes = True, spikemode  = 'across', spikesnap = 'cursor', showline=True, showgrid=True,)
)
fig.update_traces(hovertemplate=None) # forma en que aparece la informacion   
fig.update_layout(
    title={
        'text': "Conversion rate: resultados de 180 días de experimento",
        'y':0.95,
        'x':0.5,
        'xanchor': 'center',
        'yanchor': 'top'})
fig.update_layout(hovermode="x unified")

#fig.write_html("conversion.html")

fig.show()

¿Cuál campaña es mejor?

Naturalmente, uno podría pensar que las diferencias en puntos porcentuales de la campaña A y la campaña B son pequeñas y, por ende, no merece la pena cambiar de política.

Sin embargo, podríamos profundizar un poco más y utilizar la estadística como herramienta para ayudarnos a tomar una decisión que tome en cuento la chance aleatoria de observar el resultado que hemos observado.

En otras palabra, podríamos preguntarnos si esta pequeña diferencia absoluta es o no es estadísticamente significativamente.

Existen distintos tipos de contrastes que podríamos implementar, e.g., Contraste de Fisher.

Repazar conceptos:

Variables aleatoria y distribución de probabilidades

Si la relación entre los click through rate fuera $CR_A = 0.05 + CR_B$, entonces no necesitariamos un AB Test: la relación es deterministica y la campaña A es mejor que la campaña B.

Lamentablemente, el valor que va a tomar la tasa de conversión en cada campaña no lo sabemos ex-ante. Sabemos que tomará valores entre $0$ y $1$, pero nada más, i.e., su resultado es incierto.

Lo que podemos hacer entonces es racionalizar los resultados a partir de un modelo: por ejemplo, podríamos suponer que un click es como tirar una moneda al aire: si sale cara, el click se convierte en una compra y si sale cruz, no se convierte.
Denotemos por $p$ la probabilidad que salga cara, entonces podríamos escribir:
\begin{equation} Click_i = \left\{ \begin{matrix} 1 & \text{Conversión} & p_i \\ && \\ 0& \text{No Conversión} & 1-p_i \\ \end{matrix} \right.\,\, i = A,B. \end{equation}
En el fondo, lo que nos interesa conocer, es esa $p_i$ para cada una de las campañas. Es decir, con qué probabilidad $p$ un consumidor va a clickear en el anuncio.

Más en concreto, lo que nos interesaría saber es si la probabilidad de click en la campaña A es la misma que en la campaña B, i.e., $p_A = p_B$

Claro, si miramos las CR calculadas más arriba se observa que ambas son muy similares: $CR_A = 0.0989 $ y $CR_B = 0.1023$ y alguien, observandolas, podría decir que son practicamete iguales y, por lo tanto, las dos campañas darían los mismos resultados.
Sin embargo, este análisis es erróneo pues no toma en cuenta la variabilidad muestral o la chance de que aparezcan unos valores y no otros como consecuencia de la forma en que diseñe el experimento o la muestra.
Formalmente, deberíamos realizar un contraste estadístico y por eso lo de AB test $$H_o \,\,\,\, p_a = p_b$$ Estadístico de contraste: sería aquella función que utilizo para contrastar si existe una diferencia o no entre estas dos probabilidades.

import scipy as sp
import statsmodels.api as sm
from statsmodels.iolib.summary2 import summary_col

import scipy.stats as stats

# Realizaremos, por ejemplo, un contraste t-student
ab_df["cr_a"] = ab_df["conversion_a"]/ab_df["click_a"]
ab_df["cr_b"] = ab_df["conversion_b"]/ab_df["click_b"]   
    
t_value, t_test_p = stats.ttest_ind(ab_df["cr_a"], ab_df["cr_b"], equal_var=True)
print(f" Varlor del estadístico t: {t_value}")
print(f" P-valor: {t_test_p}")

 Varlor del estadístico t: -6.858392067428916
 P-valor: 3.0682058663362284e-11

# Alternativa: ajustar la conversion rate al tipo de campaña
import numpy as np
ols_df = ab_df[['dias','cr_a','cr_b']].melt(id_vars='dias')

ols_df["Impacto_Camp_B"] = (ols_df["variable"]=="cr_b").astype(int)
ols_df["intercept_CA"] = np.ones( (ols_df.shape[0],1) )

reg = sm.OLS(endog=ols_df['value'], exog=ols_df[['intercept_CA', 'Impacto_Camp_B']])
results = reg.fit()
print(results.summary())

                            OLS Regression Results                            
==============================================================================
Dep. Variable:                  value   R-squared:                       0.116
Model:                            OLS   Adj. R-squared:                  0.114
Method:                 Least Squares   F-statistic:                     47.04
Date:                Fri, 16 Sep 2022   Prob (F-statistic):           3.07e-11
Time:                        13:09:02   Log-Likelihood:                 1430.4
No. Observations:                 360   AIC:                            -2857.
Df Residuals:                     358   BIC:                            -2849.
Df Model:                           1                                         
Covariance Type:            nonrobust                                         
==================================================================================
                     coef    std err          t      P>|t|      [0.025      0.975]
----------------------------------------------------------------------------------
intercept_CA       0.0989      0.000    290.723      0.000       0.098       0.100
Impacto_Camp_B     0.0033      0.000      6.858      0.000       0.002       0.004
==============================================================================
Omnibus:                       17.073   Durbin-Watson:                   2.028
Prob(Omnibus):                  0.000   Jarque-Bera (JB):               18.139
Skew:                           0.528   Prob(JB):                     0.000115
Kurtosis:                       3.304   Cond. No.                         2.62
==============================================================================

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

Según estos resultados, la campaña B mejora la conversion rate en 0.3 porciento, en media. Si bien este porcentaje podría ser pequeño, todo dependerá de los ingresos asociados a ese porcentaje. A partir de aquí podrían hacerse otros estudios, e.g., el fin de semana impacta de una manera distinta.