DATA MINING: TORTURANDO LOS DATOS HASTA QUE CONFIESEN. Luis Carlos Molina Félix INT Intelligence & Telecom

Tamaño: px

Comenzar la demostración a partir de la página:

Download "DATA MINING: TORTURANDO LOS DATOS HASTA QUE CONFIESEN. Luis Carlos Molina Félix INT Intelligence & Telecom"

Francisco Javier Maidana Figueroa
hace 5 años
Vistas:

1 1

2 DATA MINING: TORTURANDO LOS DATOS HASTA QUE CONFIESEN Luis Carlos Molina Félix INT Intelligence & Telecom

3 Qué tan nuevos son todos estos conceptos?

4 La toma de decisiones Antes de Cristo Año Evento 3050 a. de C. En el antiguo Egipto, los faraones recopilaron datos relativos a la población, cultivos y la riqueza del país a. de C. Los babilonios utilizaban pequeñas tablillas de arcilla para recopilar datos sobre la producción agrícola y los géneros vendidos o cambiados mediante trueque a. de C. En China hay registros numéricos agrícolas de esa época. 594 a. de C. Los griegos efectuaron 69 censos fines tributarios, sociales (división de tierras) y militares (cálculo de recursos y hombres disponibles). Servía para calcular los impuestos, determinar los derechos de voto y ponderar su potencial guerrero. 500 a. de C. El historiador Tucídides en su relato Historia de la Guerra del Peloponeso describe como los atenienses calculaban la altura de la muralla de Platea, para determinar los insumos.

5 Año Acontecimiento 1763 Thomas Bayes escribe un ensayo donde define el Teorema de Bayes, usado en todos los algoritmos probabilísticos 1805 El francés Adrien-Marie Legendre describe el método de los mínimos cuadrados, usado ampliamente en el mundo del análisis de datos Se crea la base de datos IRIS. Todos los algoritmos de ML debe de usar esta base para medir su desempeño Warren McCulloch y Walter Pitts presentaron su modelo de redes neuronales artificiales, base del Deep Learning Claude Shannon, propone la Entropía de Shannon, usada en muchos algoritmos de ML como el c4.5 o c5.0 usados para clasificación Turing propuso que la pregunta: puede una máquina pensar? 1950 Surge el concepto Inteligencia Artificial Arthur Samuel define ML como El campo de estudio que da a las computadoras la habilidad de aprender sin ser explícitamente programada" Se concibe el algoritmo k-means, base de lo que hoy llamamos agrupamiento El algoritmo vecinos más cercanos fue creado y fundamenta lo que hoy conocemos como reconocimiento de patrones.

6 Fraude y engaño abundan en estos días, más que en ningún otro tiempo - Sir Edward Coke, Lord Chief Justice, 1602

7 1962: John Tukey escribe The future of Data Analysis 1974: Peter Naur acuña el término: Procesamiento de datos para obtener nuevo conocimiento para el soporte a las decisiones

1974: Peter Naur define lo siguiente: Data science or Datalogy is the science of dealing with data, once they have been established, while the relation of data to

8 1974: Peter Naur define lo siguiente: Data science or Datalogy is the science of dealing with data, once they have been established, while the relation of data to what trey represent is delegated to other fields and sciences. In good data processing new, so far unknown date, may be used directly by humans to guide their actions.

9 1985: Fisher y Gale fundan la AI&Stat Society Objetivo: Promover la comunicación entre las comunidades estadísticas, de inteligencia artificial y computación. 1989: Primer Workshop sobre KDD (Knowledge Discovery n Databases) dentro del IJCAI. 1994: Primer Proceedings. 1996: Primer estado del arte. (Fayyad et al.).

10 Lo que hemos aprendido de la IA y ML El robot japonés

11 Para qué nos sirven los datos? Nuestra empresa tiene 50 años de antigüedad y 4 años de historia. Sergio Díaz Bardahl, 2001

12 Metodología CRISP-DM

13 Conceptualización de un caso

14 Como funciona ML (Data Mining)

10 10 Modelo de clasificación Tid Attrib1 Attrib2 Attrib3 Class 1 Yes Large 125K No 2 No Medium 100K No 3 No Small 70K No 4 Yes Medium 120K No 5 No Large 95K Yes 6 No Medium 60K No 7 Yes Large 220K

15 10 10 Modelo de clasificación Tid Attrib1 Attrib2 Attrib3 Class 1 Yes Large 125K No 2 No Medium 100K No 3 No Small 70K No 4 Yes Medium 120K No 5 No Large 95K Yes 6 No Medium 60K No 7 Yes Large 220K No 8 No Small 85K Yes 9 No Medium 75K No 10 No Small 90K Yes Conjunto de entrenamiento Tid Attrib1 Attrib2 Attrib3 Class 11 No Small 55K? 12 Yes Medium 80K? 13 Yes Large 110K? 14 No Small 95K? 15 No Large 67K? Inducción Deducción Algoritmo de aprendizaje Aprender modelo Aplicar modelo Modelo Conjunto de prueba

16 Torturando los Datos hasta que confiesen Los pañales y la cerveza Los alimentos orgánicos.. Visión y autoestima: Motivos por los que los estudiantes no entraron en la preparatoria..

17 Laboratorio de Big Data Cel

Documentos relacionados

Qué son y qué papel juegan estas tecnologías en la era de la revolución digital? Inteligencia Artificial (AI) Machine Learning & Cognitive Computing

Qué son y qué papel juegan estas tecnologías en la era de la revolución digital? Inteligencia Artificial (AI) Machine Learning & Cognitive Computing Javier Alexander Rengifo, MSc. Javier Alexander Rengifo,