Información Relevante y Confiable, por favor. Marcelo Ferreyra

Transcripción

1 Informción Relevnte y Confible, por fvor Mrcelo Ferreyr

2 L Informción El Mundo gener Dtos i Los Dtos contienen Informción Los Modelos codificn es Informción

3 L Informción El modelo es un cnl de informción Entrd X Slid Y Modelo El Modelo codific l informción proveniente de ls vribles de Entrd y trnsmite un mensje hci l Slid

4 L Informción Ejemplo: un modelo de Attrition Se Qued Modelo Se V Clientes Dtos

5 L Informción Los dtos contienen Informción El modelo cnliz l Informción L informción se utiliz pr tomr un decisión Qué es l Informción?

6 L Informción Teorí de l Informción de Clude Shnnon n H log 2 i p i p i Entropí mide l Cntidd de Informción. Se mide en BITS Probbilidd de que rribe el mensje i

7 L Informción Ejemplo: un moned Cr Cruz n H log 2 i Lnzmiento de un moned Mensje p -log 2 (p) -p*log 2 (p) Cr Cruz p i p H 1 i

8 L Informción Ejemplo: un moned crgd n H log 2 i p i p Lnzmiento de un moned Mensje p -log 2 (p) -p*log 2 (p) Cr Cruz Si ls probbiliddes no son igules l entropí es menor i H 0.881

9 L Informción Cd vrible contiene un determind cntidd de informción Pero es mucho más interesnte y útil conocer qué cntidd de informción llev un vrible sobre otr Supongmos un vrible X que tiene tres vlores distintos b c Y queremos sber cómo está relciond con otr vrible Y que tmbién tiene 3 vlores distintos q r s

10 L Informción b c b c X Y Idel q r s q El cso más simple es cundo hy un relción biunívoc entre ls señles de X e Y En este cso l informción se trnsmite sin interferencis q r s Y q r s 1.0 b c q r s X b c

11 L Informción b c X Y q r s b q c Equivocción El segundo cso es cundo vris señles distints de entrd puntn un sol señl de slid. Muchs voces distints están diciendo lo mismo. q r s Y q r s 1.0 b c q r s X b c

12 L Informción b c b c X Y Ruido q r s q q r s Cundo l relción contiene Ruido, un mism señl de entrd punt distints señles de slid. L señl de slid es inciert pr un determind señl de entrd Y q r s b c q r s X b c

13 L Informción b c X Y q r s Con dtos reles lo norml es que exist un mezcl de informción, ruido y equivocción. b c q q r s Y q r s b c q r s Ruido y Equivocción X b c

14 L Informción Ejemplo: medición de Informción en un bse de dtos Medido con Powerhouse Anlytics

15 L Informción Ventjs de medir l informción o o o o Es posible conocer si los dtos contienen informción ún ntes de modelr El ruido tiene un definición precis Se obtiene un referenci con l que comprr el modelo Se puede utilizr pr seleccionr vribles

16 L Informción Selección de vribles 1. Seleccionr l vrible que myor informción conteng cerc de l vrible predecir 2. Seleccionr l siguiente vrible con myor informción dicionl cerc de l vrible predecir 3. Continur con el pso 2 hst que l cntidd de informción que porte l vrible no justifique l pérdid de representtividd

17 L Informción Ls herrmients de DM son muy útiles pr obtener informción Árboles de Decisión NN SVM Regresión Linel Pero no lcnzn pr conocer su relevnci

18 Informción Relevnte Trbjo multidisciplinrio o IT o quienes dministrn los Dtos o Dt Miners o Dt Scientist o Quienes conocen el Negocio o Científicos Sociles

19 Informción Relevnte Por qué científicos sociles? Antropólogos y Sociólogos cuentn con herrmients de investigción y nálisis necesris pr comprender los distintos códigos culturles que formn prte de l sociedd. A trvés de l desnturlizción, costumbrn explorr los supuestos pr dejrlos l descubierto L comprensión del otro pr poder ver con más clridd los distintos segmentos socioeconómicos tnto desde dentro como desde fuer

20 Informción Relevnte Modelos empíricos versus teóricos Johnnes Kepler versus Isc Newton Kepler desrrolló un modelo empírico que permite clculr los movimientos plnetrios Newton propuso un modelo teórico con el que se puede entender y predecir

21 Informción Relevnte Utilizr el Método Científico L cienci es más un determind mner de pensr, que un cuerpo de conocimientos Crl Sgn El Cerebro de Broc

22 Informción Relevnte Ejemplo de un mrco teórico Mercdos Finncieros Hipótesis del Mercdo Eficiente Los precios reflejn tod l informción públic y siguen un cmino l zr Los inversores son rcionles Teorí del Cos Los precios muestrn comportmientos de sistems dinámicos no lineles

23 Informción Confible Desrrollo versus Producción o o o o Cntidd de dtos necesrios Uso de l muestr de vlidción Pruebs estdístics Correlciones

24 Informción Confible Cntidd de dtos necesrios Problem: un urn contiene bolills de colores. Cuánts bolills l zr se deben scr pr estimr l distribución?

25 Informción Confible Cntidd de dtos necesrios Problem: un urn contiene bolills de colores. Cuánts bolills l zr se deben scr pr estimr l distribución?

26 Informción Confible Cntidd de dtos necesrios Problem: un urn contiene bolills de colores. Cuánts bolills l zr se deben scr pr estimr l distribución?

27 Informción Confible Cntidd de dtos necesrios Problem: un urn contiene bolills de colores. Cuánts bolills l zr se deben scr pr estimr l distribución?

28 Informción Confible Uso de l muestr de prueb Desrrollo Prueb

29 y myor... Informción Confible Pruebs estdístics Es necesrio relizr ls pruebs estdístics propids pr vlidr los modelos KS vliddo con Bootstrp KS = < KS < 61.5 (95%) Distribución KS

30 Informción Confible Estbilidd de l distribución de los dtos El mercdo finnciero no tiene un distribución estble lo lrgo del tiempo Cmbios de Precios Vrinz

31 Informción Confible Correlciones: Coincidenci de coss que ocurren junts Correlciones espures Electrocutdos vs. Csmientos R² = Mtemáticos condecordos vs. Suicidios R² =

32 Informción Confible Correlciones Teorí de Rmsey ( ): El desorden totl es imposible L probbilidd de encontrr correlciones espures en un bse de dtos ument con el tmño de l mism The Deluge of Spurious Correltions in Big Dt C. Clude nd G. Longo

33 Informción Confible Google Flu Trends Google descubrió que ls búsqueds de enfermeddes en Internet se delntbn ls epidemis de gripe. En 2008 desrrollron un modelo y lo ctulizron en 2009 Buenos Aires

34 Informción Confible Google Flu Trends En el invierno GFT sobrestimó por más del 50% el número de csos de gripe reportdos por el Centro de Control y Prevención de Enfermeddes de los Estdos Unidos Sucedió lgo similr durnte el invierno En Agosto de 2015, Google dejó de publicr predicciones de GFT

35 Resumen Medir l Informción en los Dtos Proyectos multidisciplinrios incorporndo Científicos Sociles Buscr l Teorí que resplde l Informción encontrd Reforzr ls buens práctics

36 Referencis Dt Mining bsdo en Teorí de l Informción: Dt_Mining_bsdo_Teori_Informcion_Mrcelo_Ferreyr.pdf Google Flu Trends: