Procesamiento en Paralelo y Miner a de Datos

1. �Procesamiento en Paralelo y Miner�a de Datos� Jos� Hern�ndez Palancar jpalancar@cenatav.co.cu

2. Estructura de la Disertaci�n Introducci�n. Incidencia de los adelantos tecnol�gicos. Tendencia actual en el desarrollo de computadoras paralelas. Paralelismo - Conceptos b�sicos: Paralelismo temporal y espacial, Granuralidad y nivel de abstracci�n del Paralelismo, evaluaci�n del rendimiento de un sistema Paralelo, sobrecosto en la comunicaci�n, balanceo de la carga, aproximaciones a la explotaci�n del Paralelismo. Parallel Data Mining. Conclusiones. Bibliograf�a

4. Introducci�n

5. Introducci�n - Ejemplos

6. Ejemplo # 2: Un equipo de cirujanos desea ver en un dispositivo especial una imagen tridimensional del cuerpo del paciente en espera para cirug�a. Necesitan rotar la imagen para obtener una secci�n transversal de un �rgano, observ�ndolo en detalle y ejecutar una cirug�a simulada, todo ello sin tocar al paciente. Para realizar eficazmente los pasos descritos es necesario una velocidad m�nima de procesamiento de 1015 operaciones por segundo. Introducci�n - Ejemplos

7. Aunque ha sido corroborada la utilidad pr�ctica de la aplicaci�n de la Miner�a de Datos en el procesamiento de diferentes tipos de datos, una de las cuestiones m�s importante en la actualidad es lograr que los algoritmos, las aplicaciones y los sistemas, sean escalables ante grandes vol�menes de datos, es decir trabajen con la misma eficiencia ante el aumento del tama�o y la dimensionalidad de los datos, pero como bien se plantea por muchos autores, alcanzar este resultado constituye un reto. Introducci�n

8. Introducci�n

9. Una pregunta que salta a la vista es:Por qu� hay que acudir al paralelismo?. Acaso no se puede resolver cualquier problema en una simple computadora, de forma secuencial.

10. L�mites que impone la F�sica El tiempo depende del ciclo de reloj del procesador, el cual ha descendido hasta extremos cercanos a la velocidad de la luz, lo que implica problemas f�sicos para seguir manteniendo su descenso.

11. L�mites que impone la F�sica(1) Considerar �nicamente el ciclo de reloj presupone depender de procesadores m�s r�pidos para obtener un incremento del rendimiento computacional, aspecto que no es permisible por limitaciones econ�micas y f�sicas.

12. L�mites que impone la F�sica(2) De nuevo, la f�sica dice que la reducci�n de la distancia entre dos perif�ricos electr�nicos alcanza un punto a partir del cual dichos perif�ricos empiezan a interaccionar, de forma tal que se reduce no s�lo su velocidad sino tambi�n su fiabilidad.

13. En b�squeda de soluciones. Estas limitaciones obligan a intentar buscar otros tipos de soluciones, ya sea planteando la concurrencia dentro del propio chip o utilizando varios procesadores en la soluci�n de una tarea.

14. Una alternativa para resolver este problema .... ... es usar una nueva t�cnica avanzada denominada paralelismo. La idea es que si una tarea se descompone en una serie de operaciones, y estas operaciones se realizan simult�neamente (esto es lo que se conoce como concurrencia), el tiempo que tarda en realizarse dicha tarea puede reducirse significativamente.

15. Paralelismo � Aplicaciones

17. Incidencia de los adelantos tecnol�gicos En el nivel de Procesamiento. En el rendimiento y capacidad de la Memoria. En el desarrollo de nuevas tecnolog�as de interconexi�n.

18. Incidencia de los adelantos tecnol�gicos (1) En el nivel de Procesamiento. - Procesadores CISC vs RISC. Ley de Moore. Velocidad de las CPU. - Incremento del Nivel del Paralelismo en la arquitectura (m�ltiples unidades funcionales, pipeline, overlapping). - Migraci�n de los Circuitos Integrados de Aplicaci�n Espec�fica a los FPGA(Altera, Xilinx). (foto de un FPGA- Pilchard Board) - Tecnolog�a HyperThreading. -Chips Multiprocesador: firma ClearSpeed Technology, 64-way, anunciado en el Microprocessor Forum (San Jose California).

19. En el rendimiento y capacidad de la Memoria. DDR SDRAM (Double Data Rate SDRAM) Duplica la raz�n de transferencia de datos entre la memoria y el procesador, al duplicar la velocidad del bus, por ejemplo de 133 a 266 MHz. Esto significa que se duplica el ancho de banda de la memoria comparado con SDRAM. La memoria DDR usualmente es denominada como "DDR266 PC2100", esto significa, velocidad del bus 266 MHz y un ancho de banda de 2.1 GB/s. �RDRAM (Rambus Direct RAM) RDRAM utiliza una tecnolog�a muy diferente de SDRAM y DDR . RDRAM hace uso de muchos m�s bancos de memoria y esto le permite que m�s p�ginas de memoria sean abiertas simult�neamente. RDRAM emplea un bus de 16 o 32 bits, pero con velocidades del bus superiores, lo que incide en que el ancho de banda alcance los 4.2 GB/s. Incidencia de los adelantos tecnol�gicos (2)

20. Desarrollo de nuevas tecnolog�as de interconexi�n. - Ethernet: Fast Gigabit 10 Gigabit. - Myrinet (firma Myricom - www.myri.com). - SCI:Scalable Coherent Interface, firma Dolphin (www.dolphinics.com). - QsNet (firma Quadrics - www.quadrics.com). Incidencia de los adelantos tecnol�gicos (3)

21. Aclaraci�n necesaria El paralelismo no es una propiedad s�lo del hardware, hay que tomar en cuenta adem�s al Sistema Operativo y a las Interfaces para la Programaci�n de Aplicaciones Paralelas (API).

22. Desarrollo de los sistemas operativos Windows NT (Microsoft). Unix. Solaris (Sun Microsystems) Free BSD. SCO Open Source (absorvi� a Caldera que era una distribuci�n Linux y ahora tiene entablada demanda contra Linux). Linux (Red Hat, SuSe, Debian, Mandrake, Slackware, entre otras)

24. Tendencia Actual Un reporte t�cnico de Microsoft que recoge los resultados de una investigaci�n concluida en agosto del 2001, plantea que �.... despu�s de 50 a�os de construcci�n de computadoras para el c�lculo cient�fico de alto rendimiento, las dos mayores arquitecturas que existen son: 1.��Clusters de Supercomputadoras vectoriales al estilo Cray. 2.�Clusters de Supercomputadoras escalares mono y multiprocesador (workstation). ...�

25. Continua planteando dicho documento que los clusters est�n transitando:

26. A trav�s de los a�os, la palabra cluster, ha sido utilizada para referirse a la uni�n de varias cosas, de hecho en Data Mining constituye una de los m�todos principales. Un cluster de workstations es un sistema �nico, conformado por computadoras interconectadas que se comunican entre s� mediante el pase del mensaje; o de forma directa, cuando el acceso a la memoria de cada nodo se realiza empleando un solo espacio de direcci�n.

27. Se compone fundamentalmente de un servidor (administraci�n y E/S), los nodos de procesamiento y el elemento de interconexi�n (generalmente switch), �ste �ltimo constituye el coraz�n del cluster, por la incidencia que tiene en la IPC(interprocess communication), la E/S y en el proceso de administraci�n.

28. Tendencia Actual El reto para los dise�adores, es superar la barrera de los 100 Teraflops en el 2005 y alcanzar el Petaflop (1015)en el 2010, todo ello bajo el programa gubernamental �Accelerated Strategic Computing Initiative (ASCI)�. Otros elementos no menos importantes son el desarrollo de la tecnolog�a �Grid Computing� y la �Computaci�n Cu�ntica�, cuya implantaci�n de forma comercial se espera para el a�o 2020.

29. Tendencia Actual Si quieren conocer, cu�l es la potencialidad de c�lculo reportada a nivel internacional? La respuesta se encuentra en el TOP500 (http:\\www.top500.org)

30. Es el listado de las 500 computadoras paralelas m�s potentes, reportadas a nivel internacional. Se publica regularmente desde el 93, dos veces al a�o (Junio y Noviembre). El test utilizado para medir el rendimiento es el LINPACK, introducido por Jack Dongarra y consiste en la soluci�n de un SEL denso, utilizando la factorizaci�n LU con pivoteo parcial, excluyendo el uso del algoritmo de multiplicaci�n r�pida de matrices. La complejidad del algoritmo es 2/3n3 + O(n2) operaciones en punto flotante.

31. Los primeros 4 del TOP500 (Nov-2004)

32. Comparativa seg�n tipo de Procesador

33. Seg�n la forma en que se clasifican

34. Los 9 Fabricantes m�s representados.(Junio 2003)

35. Los 10 Fabricantes m�s representados.(Noviembre 2004)

37. Paralelismo � Conceptos b�sicos Una definici�n de paralelismo, extra�da del libro "How to build a Beowulf", de Thomas Sterling, plantea: �El paralelismo es la habilidad de controlar muchos hilos independientes para hacer que avancen simult�neamente en la ejecuci�n de una tarea.� Otra definici�n se�ala, que es: �El uso simult�neo de m�s de una computadora para resolver un problema.�

38. Las principales arquitecturas en las que se pueden clasificar actualmente a los sistemas paralelos son: Arreglos de Procesadores, tambi�n conocidas como m�quinas MPP(Massively Parallel Procesing, + de 1000 CPU). Multiprocesadores (SMP). Multicomputadoras de Memoria Distribuida. (cantidad de CPU < = 1000). Clusters (a partir del 2000 aparece el t�rmino de Constellation). M�quinas de Memoria compartida distribuida. Paralelismo - Conceptos b�sicos (Arquitecturas Paralelas)

39. Paralelismo - Conceptos b�sicos (Modelos de Programaci�n) Guardan estrecha relaci�n con las arquitecturas referenciadas anteriormente, y se basan en la forma que se realiza la comunicaci�n y el uso de la memoria. Los 3 principales modelos son: Hilos: arquitectura SMP, est�ndar Pthreads. Pase de Mensajes: memoria distribuida, MPI-PVM. Memoria Compartida Distribuida (DSM).

40. Paralelismo - Conceptos b�sicos (Paralelismo Temporal y Espacial) Paralelismo espacial: consiste en la ejecuci�n simult�nea de tareas por diferentes unidades de procesamiento. Paralelismo temporal: dividir una tarea compleja en subtareas, cada una realizada en elementos diferentes. En un mismo instante se realizan varias subtareas procesando datos distintos. El paralelismo temporal tambi�n se denomina: segmentaci�n, superposici�n, pipeline.

41. Paralelismo - Conceptos b�sicos (Granularidad y Nivel de abstracci�n del paralelismo En una computadora paralela, la carga de trabajo de un programa consiste de diferentes tareas, las cuales son distribuidas entre los procesadores disponibles. Estas tareas necesitan coordinar y cooperar entre si para resolver el problema en cuesti�n. El grado de comunicaci�n y sincronizaci�n necesaria para esto depende de la granularidad y el nivel de paralelismo.

42. Paralelismo - Conceptos b�sicos (Granularidad y Nivel de abstracci�n del paralelismo) Granularidad: es el tama�o promedio de las partes de un programa que se asignan a cada procesador o que se quieren que se ejecuten concurrentemente: Instrucciones, iteraciones, funciones, ... Nivel de Paralelismo: es el nivel de abstracci�n al cual ser� explotado el paralelismo, por ej: tareas de granularidad fina corresponden a paralelismo a nivel de instrucci�n, mientras que granularidad gruesa, a paralelismo a nivel de programa o procedimiento.

43. Paralelismo - Conceptos b�sicos (Evaluaci�n del rendimiento de un sistema paralelo) Sea Ts el tiempo de ejecuci�n del algoritmo secuencial m�s r�pido corriendo sobre una m�quina monoprocesador y Tp el tiempo de ejecuci�n del algoritmo paralelo corriendo sobre una m�quina paralela con p procesadores. Entonces, se define como Aceleraci�n o Speedup al valor Sp = Ts / Tp, n�tese que esta medida s�lo mide la efectividad del sistema, no su eficiencia, la cual se expresa por Ef = Sp / p. La eficiencia es muy util para evaluar la escalabilidad de un sistema paralelo respecto a un problema dado de tama�o constante.

44. Paralelismo - Conceptos b�sicos (Evaluaci�n del rendimiento de un sistema paralelo) La escalabilidad se eval�a con relaci�n al incremento del tama�o tanto del sistema paralelo(# de CPU, cantidad de memoria, etc), como del problema. Sean: Tlarge el tiempo para resolver un problema de tama�o p con un sistema paralelo large que tiene p procesadores y sea Tsmall, el tiempo para resolver un problema de tama�o q con un sistema paralelo small, con q procesadores, tal que p > q, entonces la escalabilidad se mide como Sc = Tsmall / Tlarge. En condiciones ideales Sc = 1, lo cual significa que la escalabilidad es lineal, es decir, el aumento tanto del tama�o del sistema como del problema, podr�an mantener el tiempo de procesamiento constante.

45. Paralelismo - Conceptos b�sicos (Sobrecosto de la comunicaci�n)

46. Paralelismo - Conceptos b�sicos (Balanceo de la carga)

48. Parallel Data Mining (Paralelismo de Control y Paralelismo de Datos)

49. Parallel Data Mining (Paralelismo de Control y Paralelismo de Datos)

50. Parallel Data Mining (Particionamiento de los Datos)

51. Parallel Data Mining (Particionamiento de los Datos)

52. Parallel Data Mining (Aproximaciones para la explotaci�n del Paralelismo)

53. Parallel Data Mining � Caso de Estudio(Descubrimiento de Reglas de Asociaci�n en Paralelo)

54. Parallel Data Mining (Autores con mayor incidencia en el tema)

55. Parallel Data Mining (Herramientas Paralelas)

56. Parallel Data Mining (Estructura general de un programa usando MPI)

57. Parallel Data Mining (Caracter�sticas generales de nuestro Cluster)

58. Parallel Data Mining (Aspectos generales de la corrida de una aplicaci�n con LAM-MPI)

60. Conclusiones

61. Conclusiones

63. Bibliograf�a