Probabilidad condicional

Transcripción

1 Probabilidad conjunta y condicional Probabilidad condicional B/A AB/A A/BAB/B Probabilidad Conjunta AB A*B/A ABB*A/B Luego: P(ABA*B/AB*A/B Teorema de Bayes Recordar que: si B/AB son independientes. B no depende de A si A/BA son independientes. A no depende de B > ABA*B >ABA*B Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA Probabilidad Conjunta y Marginales Probabilidad Conjunta P(AB A A A i A n Prob marginal P(B B B k A k B m Prob marginal P(A h B h Propiedades k A k h B h k,h A k B h Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA

2 Probabilidad Condicional A/B A A A i A n B B / Propiedad k A k / B m B/A A A A i A n B Importante: Dirección de la flecha para leer la tabla B B m / h B h /A i Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA Clima(sol, lluvia % % ac. Sol 9% 3% ac. Lluvia Ejemplo Accidente Probabilidad Condicional Accidente/Clima Si No P(A/C sol lluvia Si,.3 No.9.7 Calcular sol/si Es una probabilidad a posteriori Si se conoce que hubo un accidente cuál es la probabilidad que haya sido con sol o con lluvia. Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA

3 Probabilidad Conjunta C AC*A/C Ejemplo P(C A sol lluvia Si sol*si/sol. lluvia*si/lluvia.7 No sol*no/sol.9 lluvia*no/lluvia.63 Si.8 No.7 sol. lluvia.9 Probabilidad Condicional C/AC A/A Si No P(C / A sol lluvia P(sol y Si/Si.35 lluvia y Si/ Si.965 P(sol y No/No.5 lluvia y No/ No.875 Respuesta interpretación Si hubo accidente es más probable (con 96.5% que haya sido con lluvia Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA Ejemplo Muestreo computacional Ejemplo discreto A{, A{.,.9 // sol lluvia B{, // accidente no accidente B/A.; P(B/A.3 Calcular P(AB por muestreo computacional float CalcularprobAB( // A es clima B accidente {tiradas; // para el ejemplo prob_ab_ant{-,- prob_ab_act{, {-,-; {, eitosab {; {,; while notconverge(prob_ab_ant, prob_ab_act { AgeneraA(; BgeneraBdadoA(A eitosab[a,b]++; tiradas++; copiar (prob_ab_ant, prob_ab_act; for(i to for(j to prob_ab_act[i,j]eitosab[i,j]/tiradas return prob_ab_act; int generaa( {probacum{., // para este ejemplo rand ( for (i to if ( <probacum[ i ] return i //retorna el valor de A {, int generabdadoa(int A {macumbdadoa{.,.3 {, // para este ejemplo rand ( for (i to //recorre columna A if ( <macumbdadoa[ i, A ] return i //retorna el valor de B dado A {, BOOL converge(mant, Mact { for (i to for (j to if ( Mant[i,j] Mact[i,j] / Mant[i,j]> ξ return false; return true; Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA

4 Variable Estocástica Es un número que se le asocia a cualquier salida de un eperimento X(salida Variables aleatorias discretas o continuas Ejemplos Se tira un dado, salidas posibles {,,3,4,5,6 X(, X( 4, X(6, X(, X(3, X(5 X(dado si dado es par en otro caso Se arroja una moneda tres veces, salidas posibles {CCC,CCS,SCC,CSC,SSC,SCS,CSS,SSS Variable estocástica se define como X(CCC3, X(CCSX(SCCX(CSC X(SCSX(SSCX(CSS X(SSS X(salida número de caras Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA Probabilidad P(X es la probabilidad que la variable aleatoria X tome el valor Distribución de probabilidad (discreto donde Función de densidad de probabilidad (continuo donde f ( d La función acumulada F( es continua y creciente con máimo F ( F( F( F( f ( Ejemplo discreto Se arroja una moneda no pesada tres veces X número de caras de la salida X{,,,3 // valores de X distribución de probabilidad Función Acumulada P(X/8 P(X3/8 F( P(X3/8 P(X3/8 d 3 / 8+ 3/ 8+ 3/ 8+ / Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA

5 Ejemplo Continuo Probabilidad f( f( f( f( F( F( d f( f( F( F(/ / / d Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA / / 4 3/ 4 Media < X > Varianza σ < ( σ < Analítica ( < X > > < X > Desvío estándar Indicadores f ( d < X >+< X > < X > > < X > +< X > < > < X σ σ +< X > > X i > Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA Muestreo computacional < N N es el número de muestras i ( i i i N σ N N es el número de muestras σ i ( i i i N N i

6 Indicadores (cálculo analítico Promedio o media < X Ejemplo discreto X{,,,3 {/8,3/8,3/8,/8 <X>*/8+*3/8+*3/8+3*/8/8.5 > f ( d 3 Ejemplo continuo < X > d 3 3 / 3 f( f( Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA Indicadores (cálculo analítico Varianza y Desvío Estándar Ejemplo discreto X{,,,3 {/8,3/8,3/8,/8 Media <X>*/8+*3/8+*3/8+3*/8/8.5 caras Varianza σ ( < X > σ < > < X > */ 8+ *3/8+ *3/8+ 3 */8.5 σ 3/ 4.86caras (.5 */ 8+ (.5 *3/8+ (.5 *3/ 8+ (3.5 */8 3/ 4caras 3/ 4caras El desvío estándar mide la dispersión alrededor de la media A mayor valor de desvío mayor dispersión 3 Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA

7 Indicadores Cálculo por muestreo computacional Ejemplo discreto X{,,,3 {/8,3/8,3/8,/8. Calcular <X> por muestreo computacional float CalcularMedia( {suma; tiradas; media_ant-; media_act ; while notconverge(media_ant,media_act { generax(; sumasuma+; tiradas++; media_antmedia_act; media_actsuma/ tiradas return media_act int generax( {prob{/8,3/8,3/8,/8 // para este ejemplo probacum{/8,4/8,7/8, // para este ejemplo rand ( for (i to 3 if ( <probacum[ i ] return i //retorna el valor de {,,,3 BOOL converge(ant, act { if ( ant act / ant < ξ // ξ es cte pequeña return true; return false; Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA Generación de muestras Generar valores con la computadora de una variable aleatoria X con determinada distribución de probabilidad samos el método de Inversión F( so la Función Acumulada genero aleatorios Calculo F - ( F - ( Se obtiene así una muestra de valores independientes de X con la distribución buscada Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA

8 Ejemplos generación de variable Ejemplo v.a discreta F( int generax( {prob{/8,3/8,3/8,/8 // para este ejemplo probacum{/8,4/8,7/8, // para este ejemplo rand ( for (i to 3 if ( <probacum[ i ] return i //retorna el valor de {,,,3 3 Ejemplo v.a continua int generar( {rand ( r*+ return r // verificar rango de r //si retorna *+ // si retorna *+4 //para este ejemplo f(r / F( r F( r Area r 4 r Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA F(r r*+ 4 d r F( r F( r F( r r r * F( r + Otro ejemplo generación v.a continua Caso Si F(</4 Caso Si /4<F(<3/4 d u 4u u + + d + + u Verificar con f(: Si u entonces Si u/4 entonces Verificar con f( Si u/4 entonces Si u3/4 entonces Caso 3 Si 3/4<F(< ( ( d u u u Verificar con f( Si u3/4 entonces Si u entonces 3 int generax( //para este ejemplo {rand ( If </4 return sqrt(4 //según caso else if <3/4 return (4*+/ //según caso else return 3-sqrt(4-4 //según caso 3 Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA X 3 4

9 Teoría de la Información Programa del curso nidad. Tratamiento probabilístico de la información. Variables estocásticas. Distribución de probabilidad. Probabilidad marginal, condicional y conjunta. Teorema de Bayes. Covarianza y correlación. Estimación de variables estocásticas. Muestreo computacional. nidad. Procesos estocásticos discretos. Cadenas de Markov. Grafos de estados. Equilibrio estadístico. Recurrencia. Fórmulas de Chapman-Kolmogorov. Autocovarianza y autocorrelación. nidad 3. Noción de Información. Particiones y árboles. Codificación. Longitud media de código. Concepto de Entropía. Información condicional. nidad 4. Fuentes de información y su codificación. Propiedades de las fuentes sin memoria. Fuentes con memoria. Clasificación de códigos. Condición de prefijo y códigos instantáneos. Inecuación de Kraft. Construcción de códigos compactos. Códigos de Shannon, Fano y Huffman. Rendimiento y redundancia de un código. Etensión de fuentes. Propiedad etensiva de la Entropía. Primer Teorema de Shannon. nidad 5. Compresión de datos. Métodos de compresión sin pérdida. Esquemas de compresión adaptativos. Codificación dinámica de Huffman. Métodos basados en diccionario. Técnicas de compresión con pérdida. Compresión de teto, imágenes, sonido y video. nidad 6. Canales. Transmisión de la información y probabilidades condicionales. Entropías a-priori y a-posteriori. Ruido y pérdida. Clasificación de canales. Canales en serie. Balance de entropías. Información mutua. Capacidad del canal. Probabilidad de error. Segundo Teorema de Shannon. nidad 7. Método de máima entropía. Aplicaciones. Bibliografía Abramson N., Teoría de la Información y Codificación, Ed. Paraninfo, 98 Bell T., Cleary J., Witten I., Tet Compression, Prentice Hall, 99 Chiang C., An Introduction to Stochastic Processes and their Applications, R.Krieger Publishing Company, 968 Cover T., Thomas J., Elements of Information Theory, John Wiley & Sons, 99 Nelson M. The Data Compression Book, M&T Books,99 Papoulis A., Probability Random Variables and Stochastic Processes, McGraw-Hill, 99 Shannon C., Weaver W., Teoría Matemática de la Comunicación, Ed.Forja, 98 Teoría de la Información - Prof. Mariana del Fresno y Prof. Rosana Barbuzza Facultad de Ciencias Eactas-NCPBA