Parallel Programming of High Performance Computers for Mining

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Parallel Programming of High Performance Computers for Mining"

María Rosa Alvarado Guzmán
hace 8 años
Vistas:

1 Parallel Programming of High Performance Computers for Mining 5º Seminario de Acercamiento Tecnológico Codelco Digital: Minería del Futuro Mario Leyton 1, Nelson Morales 2 1 NIC Labs, mleyton@niclabs.cl 2 Delphos Mine Planning Lab, AMTC nmorales@ing.uchile.cl

del Futuro Mario Leyton 1, Nelson Morales 2 1 NIC Labs,

2 Desafíos Complejos Large Hadron Collider Datos producidos 15 petaybytes/year 500Mb/s 2 Enciclopedias Britanicas x segundo!

3 Desafíos Complejos BOINC La mas grande red voluntarios de cálculo -> Búsqueda de ET -> Drogas para SIDA -> Folding de Proteinas PrimeGrid -> numeros primos gigantes etc...

FightAIDS@Home -> Drogas para SIDA Docking@Home ->

4 Desafíos Complejos Problema del Vendedor Viajero: Recorrido mas corto que pasa por todas las ciudades Alemania ciudades km 22.6 años CPU 110 computadores

Alemania - 2001 15.112 ciudades 66 000 km 22.

5 High Performance Computing Tres razones para usar HPC Cálculos intensivos Datos intensivos Restricción temporal: resultados para ayer

6 Complejidades de HPC Programa HPC es ~10 veces más costoso que un programa normal Por qué? Redefinir los algoritmos Mayor complejidad del hardware Errores no determinísticos Data races, Deadlocks, Livelocks, etc..

7 Complejidades de HPC Qué hardware debo usar? Comprar Clusters Ad-hoc Alta inversion Altos costos operacionales (2 años de uso equivalen a inversion) Arrendar Clusters Amazon EC2: $0.10 x hora Universidades / Research Labs Reutilizar Desktops Voluntarios: BOINC

operacionales (2 años de uso equivalen a inversion) Arrendar

8 Complejidades de HPC Qué herramientas debo usar? Algunos Modelos de Programación Paralela MPI (Message Passing Interface) Objetos distribuidos Workflows / Web Services Componentes BSP Patrones de Paralelismo (esqueletos)

Passing Interface) Objetos distribuidos Workflows /

9 Skandium: Patrones de Paralelismo Patrones de Paralelismo Biblioteca en Java Open Source (GPL)

10 Skandium: Patrones de Paralelismo Modelo de Programación de Alto Nivel [Cole89] Esconde la complejidad de la programación paralela Explota patrones anidables de paralelismo Patrones de Paralelismo BLAST Programa Ejemplo Tareas farm for pipe if while d&c(f b,f d,f c ) pipe fork seq(f 3 ) Datos divide & conquer fork map seq(f 1 ) seq(f 2 )

paralelismo Patrones de Paralelismo BLAST Programa Ejemplo Tareas farm for pipe if

11 Skandium: Patrones de Paralelismo public public boolean boolean condition(blastparams condition(blastparams param) param) { Modelo { de Programación de Alto Nivel [Cole89] Esconde File File file la file complejidad = = param.dbfile; param.dbfile; de la programación paralela Explota patrones anidables de paralelismo } } Tareas return return file.length() file.length() > > param.maxdbsize; param.maxdbsize; Patrones de Paralelismo for farm pipe if while BLAST Programa Ejemplo d&c(f b,f d,f c ) pipe Datos divide & conquer fork map fork seq(f 3 ) seq(f 1 ) seq(f 2 )

dbfile; de la programación paralela Explota patrones anidables de paralelismo } } Tareas return return file.length() file.length() > > param.

12 Skandium: Patrones de Paralelismo P + Input Stream Task Ready Queue Task Consumed Thread Pool R Output Stream Task Finished Task Dynamically produced sub-tasks Task Wait for sub-tasks Task All sub-task are fi nished Waiting

Task Finished Task Dynamically produced sub-tasks Task

13 Skandium: Patrones de Paralelismo Resultados N-Reinas: Como colocar N reinas en un tablero de ajedrez Pi encontrar los X decimales: BLAST: Alineamiento de DNA en paralelo DNSSEC: Paralelizacion de firmado de zona

14 Desafíos HPC en Minería PROBLEM COMPLEXITY Final Pit Blending???? Uncertainty Sequencing Actualment, capacidad limitada de cálculo, obliga a dividir el problema en etapas, deasociadas entre ellas (planificación largo vs corto plazo: planificaciones tardías y sub-optimas

cálculo, obliga a dividir el problema en etapas, deasociadas entre

15 Desafíos HPC en Minería y continuamente integrar planificación minera con resultados en-linea y la operación minera Drilling & Blasting on Demand???? Dispatch Routing All-Term Planning Maintenance Prod. Sched. Online Consolidation

operación minera Drilling & Blasting on Demand?

16 Desafíos HPC en Minería???? HPC permitirá resolver problemas integrados (reales) Obteniendo soluciones en-linea (actualmente el proceso diseminado toma semanas).

17 Conclusiones HPC es necesario para ciencia de frontera e industrias competitivas Existe una variedad de oportunidades donde aprovechar HPC en minería Multiples alternativas hardware: comprar, arrendar, etc... Programar HPC es costoso y difícil Es importante elegir el/los modelos de programación adecuados

minería Multiples alternativas hardware: comprar, arrendar, etc.

18 Muchas Gracias! Preguntas?

19 Muchas Gracias! Preguntas?

Documentos relacionados

Modelos Matemáticos y Aplicaciones a Planificación Minera

Modelos Matemáticos y Aplicaciones a Planificación Minera Nelson Morales nmorales@ing.uchile.cl AMTC Associate Researcher Delphos Mine Planning Laboratory 10/11/2011 1 Eran los años 60 Lerchs y Grossman