Algoritmos de Búsqueda “Backtracking y Branch and Bound”

1. Algoritmos de Búsqueda“Backtracking y Branch and Bound” Antonio Paredes Risueño

2. Índice • Backtracking • Backtracking en paralelo • Branch and Bound • Branch and Bound paralelo

3. Introducción • Los algoritmos de Backtracking y Branch and Bound se suelen aplicar en la resolución de un gran número de problemas, muy especialmente en los de optimización. • Estos algoritmos realizan una búsqueda exhaustiva y sistemática en el espacio de soluciones del problema. • Suelen ser muy ineficientes.

4. Introducción • Se utilizan para resolver problemas para los que no existe un algoritmo eficiente para resolverlos. • Mediante la programación paralela se intentará reducir el tiempo de ejecución de estos algoritmos

5. Índice • Introducción • Backtracking en paralelo • Branch and Bound • Branch and Bound paralelo

6. Backtracking • Técnica general de resolución de problemas, que suele aplicarse sobre todo a juegos y problemas de óptimización. • Realiza una búsqueda exhaustiva y sistemática en el espacio de soluciones del problema. • La solución de un problema de backtracking se puede expresar como una tupla (x1,x2,…,xn), que satisface una restricciones R(x1,x2,…,xn) y a veces optimizando una función objetivo.

7. Backtracking • En cada momento el algoritmo se encontrará en un cierto nivel k, con una solución parcial (x1,x2,…,xk) (con k<=n). • Si puede añadirse un elemento xk+1 a la solución parcial se avanza al nivel k+1. • Si no se prueban otros valores válidos para xk. • Si no existe ningún valor que sea válido por probar, se retrocede al nivel anterior k-1. • Se continua con este proceso hasta que la solución parcial sea una solución del problema o hasta que no queden más posibilidades por probar (en el caso de que no se encuentre ninguna solución o se busquen todas las soluciones del problema).

8. Backtracking • En definitiva, el algoritmo realiza una búsqueda en profundidad en el árbol de soluciones del problema. x1 x2 x3

9. Backtracking • En definitiva, el algoritmo realiza una búsqueda en profundidad en el árbol de soluciones del problema. 1 x1 2 10 14 x2 3 6 7 11 12 15 16 x3 4 5 8 9 13 17 18

10. Backtracking. Complejidad • Por realizar una búsqueda exhaustiva en el espacio de soluciones del problema, los algoritmos de backtracking son bastante ineficientes. • En general, se tienen tiempos con órdenes de complejidad factoriales o exponenciales. • Por esto, los algoritmos de backtracking se utilizan en problemas para los que no existen un algoritmo eficiente que los resuelva.

11. Backtracking. EjemploProblema N-Reinas • El problema de las N-Reinas consiste en colocar n reinas en un tablero de ajedrez de tamaño n*n de forma la reinas no se amenacen según las normas del ajedrez. Se busca encontrar una solución o todas las soluciones posibles. • Este problema puede resolverse utilizando un esquema de backtracking. • Cualquier solución del problema estará formada por una n-tupla (x1,x2,…,xn), dónde cada xi indica la columna donde la reina de la fila i-ésima es colocada.

12. Backtracking. EjemploProblema N-Reinas • Las restricciones para este problema consisten en que dos reinas no pueden colocarse en la misma fila, ni en la misma columna ni en la misma diagonal. • Por ejemplo, el problema de las 4-Reinas tiene dos posibles soluciones: [2,4,1,3] y [3,1,4,2].

13. Backtracking. EjemploProblema N-Reinas

14. Backtracking. EjemploProblema N-Reinas 1 2 6 10 14 3 15 7 17 4 11 16 8 12 5 13 9 Soluciones

15. Índice • Introducción • Backtracking • Branch and Bound • Branch and Bound paralelo

16. Backtracking paralelo • Esquema no puramente paralelo, es un esquema utilizado en programación secuencial que se intenta paralelizar. • Esto supone que la ganancia de tiempo no sea tan elevada como se pudiera esperar a priori. • Se intenta distribuir el espacio de búsqueda entre los distintos procesadores, de forma que cada uno busque la solución del problema en un subespacio de soluciones distinto. • Así se exploran varias ramas del árbol de soluciones al mismo tiempo por distintos procesadores. • Aumentan las posibilidades de encontrar la solución del problema en menor tiempo.

17. Backtracking paralelo

18. Backtracking paralelo P0 P1

19. Backtracking paralelo • Un factor crítico a la hora de formular un algoritmo de backtracking en paralelo es cómo se realizará la distribución del espacio de búsqueda entre los distintos procesadores. • Dos alternativas: • Asignación estática • Asignación dinámica

20. Backtracking ParaleloAsignación estática • Un procesador expande el nodo raíz y genera varios nodos. • A cada procesador se le asigna un número de estos nodos. • Así se divide el espacio de búsqueda global entre los distintos procesadores. • Cada procesador comienza a buscar la solución en el espacio de búsqueda que le corresponda, siguiendo el proceso normal de backtracking. • No se necesitan comunicaciones entre procesos.

21. Backtracking ParaleloAsignación estática • Problema: No se sabe a priori si se divide el espacio de búsqueda equitativamente entre los distintos procesadores. • Puede haber desequilibrio entre la carga de trabajo de los procesadores. • A un procesador puede que se le asigne poco trabajo y este la mayor parte de tiempo inactivo.

22. Backtracking ParaleloAsignación estática P0 P1

23. Backtracking ParaleloAsignación estática P1 P0

24. Backtracking ParaleloAsignación dinámica • Cada procesador trabaja en una parte del espacio de búsqueda. • Cuando un procesador termina de trabajar, solicita más trabajo a otro procesador que tiene más trabajo. • Proceso: • Cada procesador dispone una pila en su espacio local para guardar nodos no expandidos. • Cuando un procesador expande un nodo, los nuevos nodos que se crean se introducen en la pila. • Cuando la pila de un procesador esta vacía, el procesador solicita nodos de la pila de otro procesador.

25. Backtracking ParaleloAsignación dinámica • Al principio, el espacio total de búsqueda es asignado a un procesador y a los demás procesadores no se les asigna ningún trabajo. • Ese procesador será el encargado de distribuir inicialmente el trabajo cuando los demás procesadores se lo soliciten. • A los procesos que envían trabajo se les denomina donadores y a los que lo solicitan y lo reciben se les denomina receptores.

26. Backtracking ParaleloAsignación dinámica • Un procesador puede estar en 2 estados: • Activo: Esta realizando algún trabajo. • Inactivo: Al procesador no le queda ningún nodo por explorar en su pila y esta solicitando trabajo a otros procesadores. • Estado inactivo: • El procesador selecciona un procesador donador y le envía una petición de trabajo. • Si recibe trabajo del donador, se activa y comienza a trabajar. • Si recibe un mensaje de reject (el procesador donador esta inactivo), selecciona a otro procesador donador para enviarle una petición de trabajo.

27. Backtracking ParaleloAsignación dinámica • Estado inactivo: • Este proceso se repite hasta que el procesador recibe trabajo del donador o hasta que todos los procesadores entran en estado inactivo.

28. Backtracking ParaleloAsignación dinámica • Estado activo: • El procesador realiza una cantidad de trabajo fijo (expande un nº determinado de nodos). • Cuando termina de realizar el trabajo, chequea si existen peticiones de trabajo a cargo de los demás procesadores. • Si recibe alguna petición de trabajo, el procesador donador particiona en dos partes su pila de nodos, y envía una parte al procesador que realizo la petición. • Cuando el procesador ha recorrido todo su espacio de búsqueda (su pila esta vacía), entra en estado inactivo.

29. Backtracking ParaleloAsignación dinámica Procesador Activo Servicio pendiente de recibir mensajes Realizar una cantidad de trabajo fija Termina el trabajo disponible Comienza a trabajar Procesador Inactivo Servicio pendiente de recibir mensajes Seleccionar un procesador y solicitarle trabajo No existe trabajo disponible Enviar una petición

30. Backtracking ParaleloAsignación dinámica • Cuando un procesador encuentra la solución, envía un mensaje de broadcast a todos procesadores para estos paren la búsqueda. • Si no se recibe este mensaje, el algoritmo terminará cuando todos los procesos estén en estado inactivo.

31. Backtracking Paralelo • Los algoritmos paralelos de búsqueda en un árbol de soluciones tienen 2 características fundamentales que determinan su rendimiento: • La estrategia utilizada para dividir el trabajo de un procesador cuando éste recibe una petición de trabajo. • El esquema usado para determinar el procesador donador cuando un procesador entra en estado inactivo.

32. Estrategia de División del trabajo • Cuando un procesador donador recibe una petición de trabajo de otro procesador y tiene nodos su pila, el procesador donador divide su pila en dos y una de ellas se envía al proceso que realizo la petición. • Si se envía poco trabajo, el receptor rápidamente pasa a estar en estado inactivo. • Si se envía demasiado trabajo, el donador entrará rápidamente en estado inactivo. • Lo ideal sería dividir la pila en dos partes iguales de modo que el espacio de búsqueda representado por cada una sea el mismo.

33. Backtracking ParaleloEstrategia división de trabajo • A este método se le llama “División por la mitad”. • Pero la dificultad reside en estimar el tamaño que tendrán los subarboles asociados a cada uno de los nodos que se encuentran en la pila. • Normalmente los nodos cercanos al fondo de la pila (nodos con profundidad cercana al nodo raíz del procesador) tienen más posibilidades de generar árboles de mayor tamaño. • Los nodos más cercanos al tope de la pila (nodos que están a mayor profundidad) tienen más posibilidades de generar árboles de menor tamaño.

34. Backtracking ParaleloEstrategia división de trabajo • Para evitar mandar cantidades pequeñas de trabajo, los nodos de la pila que están más allá de una determinada profundidad no son enviados. • A esta profundidad se le llama “cota de profundidad”. • Algunas estrategias posible para la división del trabajo son: • Enviar nodos cercanos al fondo de la pila • Enviar nodos cercanos a la cota de profundidad. • Enviar la mitad de los nodos que están entre el fondo de la pila y la cota de profundidad. • La idoneidad de una estrategia u otra dependerá de la naturalidad del espacio de búsqueda.

35. Backtracking ParaleloEstrategia división de trabajo 1 Pila Cota de profundidad 2 3 4 5 6 7 8 9 10 11 12 13 14

36. Backtracking ParaleloEsquemas de balanceo de carga • Los esquemas de balanceo de carga se utilizan para decidir que procesador donador se elige cuando un procesador entra en estado inactivo. • Algunos esquemas posibles son los siguientes: • Round Robin Asíncrono • Round Robin Global • Selección aleatoria

37. Round Robin Asíncrono • Cada procesador mantiene una variable local llamada “target”. • Cuando un procesador termina de trabajar, usa el valor de su variable “target” para determinar el procesador donador al que enviar la petición de trabajo. • Cada vez que se envía una petición, se incrementa en una unidad el valor de la variable “target” del procesador: target = ((target+1) modulo p) • El valor inicial de target será: target0 = ((nº procesador+1) modulo p)

38. Round Robin Global • Existe una única variable “target” almacenada en el procesador P0. • Cuando un procesador necesita trabajo, solicita y recibe el valor de la variable target de P0. • Una vez que se sabe cual es el procesador donador, el procesador le envía una petición de trabajo. • Luego, P0 incrementa la variable target antes de responder a otra petición. target = ((target+1) modulo p)

39. Round Robin Global • Este esquema garantiza que sucesivas peticiones de trabajo se distribuyen uniformemente entre todos los procesadores. • La desventaja principal de este esquema es que el procesador P0 debe gestionar todas las peticiones de acceso a la variable target, y esto puede convertirse en un cuello de botella.

40. Selección aleatoria • Es el esquema más simple de todos • Cuando un procesador entra en estado inactivo, se elige un procesador al azar. • Cada procesador tiene la misma probabilidad de ser seleccionado como donador. • Así se asegura que las peticiones se distribuyan uniformemente.

41. Backtracking ParaleloDetección de terminación • Cuando un procesador encuentra una solución del problema se envía un mensaje de broadcast a todos los procesadores para indicarle que terminen. • Pero cuando no se encuentra ninguna solución. ¿Cómo detectar cuando termina el proceso de búsqueda? • A continuación se describen dos algoritmos para detectar la terminación de la búsqueda. • Algoritmo de terminación de Dijkstra´s. • Algoritmo de terminación basado en árbol.

42. Algoritmo de terminación de Dijkstra´s • Los procesadores se organizan en un anillo lógico y se irán pasando un token. • Un procesador puede estar en dos estados: blanco o negro. • Un token también puede estar en dos estados: blanco o negro. • Inicialmente todos los procesadores están en estado blanco.

43. Algoritmo de terminación de Dijkstra´s • El algoritmo es el siguiente: • Cuando P0 esta inactivo, el procesador crea un token y envía un token blanco al procesador P1. • Si el procesador Pi envía trabajo al procesador Pj (i>j), el procesador Pi cambia a estado negro. • Si el procesador Pi tiene el token y esta inactivo, pasa el token al Pi+1. Si Pi está en estado negro, el color del token se establecerá a negro antes de pasarlo a Pi+1.Si Pi esta en estado blanco, el token se pasa sin cambiarlo. • Cuando Pi pasa el token a Pi+1 pasa a estado blanco. • El algoritmo termina cuando a P0 le llega un token blanco.

44. Algoritmo de terminación basado en árbol • Se asocia un peso a cada procesador. • Inicialmente, P0 tiene todo el trabajo y se le asocia un peso de 1. • Cuando Pi particiona y manda trabajo a otro procesador, Pi se queda con la mitad del peso y la otra mitad se la envía al otro procesador. • Cuando un procesador termina su trabajo, se devuelve el peso al procesador del que se recibió el trabajo. • El algoritmo termina cuando el peso del procesador P0 vuelve a ser 1.

45. Algoritmo de terminación basado en árbol w0=0.5 w1=0.5

46. Algoritmo de terminación basado en árbol w0=0.5 w0=0.5 w1=0.5 w1=0.25 w2=0.25

47. Algoritmo de terminación basado en árbol w0=0.5 w0=0.5 w0=0.25 w1=0.5 w1=0.25 w1=0.25 w3=0.25 w2=0.25 w2=0.25

48. Algoritmo de terminación basado en árbol w0=0.5 w0=0.5 w0=0.25 w1=0.5 w1=0.25 w1=0.25 w3=0.25 w2=0.25 w2=0.25 w0=0.25 w1=0.5 w3=0.25

49. Algoritmo de terminación basado en árbol w0=0.5 w0=0.5 w0=0.25 w1=0.5 w1=0.25 w1=0.25 w3=0.25 w2=0.25 w2=0.25 w0=0.25 w0=0.5 w1=0.5 w3=0.25 w1=0.5

50. Algoritmo de terminación basado en árbol w0=0.5 w0=0.5 w0=0.25 w1=0.5 w1=0.25 w1=0.25 w3=0.25 w2=0.25 w2=0.25 w0=0.25 w0=0.5 w0=1 w1=0.5 w3=0.25 w1=0.5