Bayes

Desarrollo

Luego de abordar el concepto de probabilidad total, es momento de introducir otro de los conceptos más importantes en el mundo de la probabilidad y también de algunos modelos generativos en el machine learning y es el concepto de Bayes, la cual se formula así.

\[\large p(A_{j}|B) = \frac{p(A_{j}\cap B)}{p(B)} = \frac{p(A_{j})\cdot p(B|A_{j})}{\sum_{i=1}^{\infty }p(A_{i})\cdot p(B|A_{i})} \hspace{0.7cm} j=1,... ,n \]

La ecuación anterior tiene varios enfoques que son de gran utilidad, vamos a iniciar con el enfoque más teórico y para ello usaremos el concepto de probabilidad total visto anteriormente, si nos fijamos podemos observar que el numerador de la ecuación es la probabilidad conjunta de Aj y B; una manera de verlo visualmente con un ejemplo seria de la siguiente manera.

Y el denominador sería la probabilidad total del evento B; de manera gráfica sería.

Si nos percatamos, lo que estamos hallando es la proporción de la probabilidad a nivel global del segmento de B dado por Aj con respecto a la probabilidad total de B, sin embargo al percatarnos del lado izquierdo de la ecuación, observamos que lo que pretendemos obtener es la probabilidad del evento Aj dado que ha sucedido B, lo cual a simple vista puede ser contraintuitivo a lo que obtuvimos líneas arriba, sin embargo el resultado si es lo que buscamos; para ello vamos a abordar esta expresión.

P(Aj|B) se expresa como la probabilidad del evento Aj dado que el evento B ha sucedido, es decir bajo el punto de vista del evento B, cuál es la proporción que tiene el evento Aj, de manera gráfica sería.

Por lo tanto, si comparamos el concepto del resultado obtenido tanto en la parte derecha como izquierda de la ecuación, nos daremos cuenta que en esencia se obtiene lo mismo, solo que la probabilidad de Aj dado que ha sucedido B, está escrito en términos del evento B dado que ha sucedido Aj.

Con lo anterior, entramos a la segunda forma de ver el concepto del teorema de Bayes y es un enfoque más orientado a la aplicación, usualmente se dice que el teorema se emplea para actualizar nuestras creencias acerca de algún suceso y la ecuación toma la siguiente forma.

\[\large p(H_{j}|E) = \frac{p(H_{j})\cdot p(E|H_{j})}{\sum_{i=1}^{\infty }p(H_{i})\cdot p(E|H_{i})} \hspace{0.7cm} j=1,... ,n \]

De la ecuación se define que E es la evidencia y H es la hipótesis, lo que se traduce en que buscamos hallar la probabilidad de nuestra creencia o hipótesis de algún evento dada cierta evidencia, para comprender el concepto vamos a realizar un ejemplo.

Supongamos que vivimos en un pueblo en el que el 60% de la población es mujer, y tenemos la evidencia de que solo el 5% de las mujeres son calvas y que el 20% de los hombres son calvos.

Ahora supongamos que estamos en un evento y por ende podríamos creer que la probabilidad de que veamos a una persona calva y que esta sea mujer es muy baja, pues este juicio lo hacemos en función de que solo el 5% de las mujeres tienen esta condición, sin embargo vamos a proceder a corroborar o actualizar nuestro juicio; por lo tanto la creencia que deseamos obtener es la probabilidad de que una persona sea mujer, dado que vimos que era calva, es decir.

\[\large p(M|C) = p(M)\cdot \frac{p(C|M)}{p(C|M)\cdot p(M)} + (p(C|M’)\cdot p(M’))) = 0.27 \]

Hay una posibilidad del 27% de que si vemos a una persona calva en la multitud esta sea una mujer, es decir 1 entre 3 personas, lo cual es mucho más elevado que la creencia que teníamos previamente del 5%

Para entender mejor el resultado obtenido, vamos a realizar el procedimiento de manera gráfica.

Al comenzar el ejercicio determinamos como evidencia que el 60% de la población del pueblo es mujer, que de la población de mujeres solo el 5% padece de calvicie, y en los hombres esta cifra es del 20%, por lo que si tuviéramos una muestra de 100 personas, los resultados serían los siguientes.

De la gráfica se puede observar que en la población de los hombres tenemos 8 hombres calvos (equivalentes al 20% de los hombres) y en la población de las mujeres tenemos 3 mujeres calvas (equivalente al 5% de las mujeres), para un total de 11 personas en condición de calvicie.

Si separamos a la población en condición de calvicie, y determinamos la probabilidad de que sea mujer, es fácil observar que como hay 3 mujeres de 11 personas en esta condición, la probabilidad es del 27%.

Ahora, que tal si ampliamos nuestra muestra pasando de la población de un pueblo, a la población de un país, y un amigo que trabaja en el sector público nos brinda la información sobre la probabilidad de que una mujer sea calva a nivel país es del 2% y la probabilidad de que un hombre sea calvo es del 30%, la proporción de hombres y mujeres sigue siendo la misma a nivel de país, por lo tanto la nueva probabilidad o creencia que teníamos seria.

\[\large P(M|C) = 6.9% \]

Con el anterior ejercicio queda explicado el enfoque de la actualización de nuestras creencias en función de la nueva información que vayamos obteniendo y así, a medida que nuestros datos sean más confiables y más robustos, podemos ir actualizando nuestras creencias sobre el entorno y este concepto nos será de mucha ayuda cuando abordemos los sistemas generativos.

Como último detalle sobre el teorema de Bayes, se tiene que la probabilidad de una hipótesis dada la evidencia o lo que llamamos nuestra creencia, es lo que se suele nombrar como probabilidad posterior; la probabilidad de la hipótesis es considerada la probabilidad previa sin influencia de ninguna evidencia; la probabilidad de la evidencia dada la hipótesis se considera la verosimilitud de los datos de la hipótesis, y finalmente la probabilidad de la hipótesis es mencionada como la probabilidad marginal.

AQUI ECUACION DE BAYES INDICANDO CUAL ES POSTERIOR, CUAL PREVIA, ETC