Aprendizado em Sistemas Multi-agentes

1. Gleiph Ghiotto Lima de Menezes Aprendizado em Sistemas Multi-agentes

2. Definição AprenderFicar sabendo, reter na memória, tomar conhecimento. (Michaelis)

3. Pesquisas: ML e MAS

4. Pesquisas: ML e MAS • Inteligência esta diretamente ligada a autonomia, com o objetivo de tomar decisões de forma independente.

5. Pesquisas: ML e MAS

6. Aprendizado Distribuído Comunicação? Cooperação? Algoritmos?

7. Aprendizado de um agente VsMulti-agente • Algoritmos voltados para um agente • Agente simples: individual • Multi-agente: interação com os vizinhos • Um caso: Agente que não esta ciente de outros agentes (agente simples) • Quando utilizar aprendizado distribuido?

8. Aprendizado On-lineVsOff-line • Métodos On-line (incremental) • Calcula novas hipóteses • Base de treinamento • Métodos Off-line • Case de treinamento que representa um momento no tempo • Aplicações

9. Aprendizado reativo • Em sistemas reativos, o comportamento global surge a partir de interação de comportamentos individuais. • indivíduos trabalham em informações baseadas em valor que foi produzido de um convívio social. • Q-Learning • Agente com pouco conhecimento • Baseia-se na reposta do ambiente

10. Aprendizado reativo

11. Aprendizado baseado em lógica • Aprendizado Baseado em Explicação • Lógica de Programação Indutiva

12. Aprendizado Baseado em Explicação • Muito utilizado em IA para aumento de desempenho • Adquirem conhecimento • Regras em relação a um evento • Problemas similares podem ter diferentes soluções

13. Lógica de Programação Indutiva • Calcula hipótese indutivas a partir de bases de treinamento

14. ABE e LPI • O uso destas duas técnicas combinadas tem demonstrado bons resultados

15. Aprendizado Social • População já formada • Benefício das experiências de outros agentes • Recém nascido • Agentes Reais X Agentes de Software • Prós e Contras • Detector de spans • Professor

16. Aprendizado Social • Condições nas quais será vantajoso para os indivíduos a aprender com os outros em vez de descobrir coisas por si mesmos • Modelos de transmissão cultural • Na transmissão de geração • Pastoreio comportamento

17. Aprendizado Social • Quando o Aprendizado Social é o mais recomendado? • Opinião Coletiva • Risco financeiro • Agentes de software tomem decisão que envolva gasto financeiro para o dono • Situações com grau de dinamismo intermediário • Caso de pequeno e grande dinamismo.

18. Mecanismos para Aprendizado Social • As que mais de destacam são as de imitação • Dificuldades

19. Mecanismos de Aprendizado Social • Contagious behaviour • Stimulus enhancement • Observational learning • Matched-dependent behaviour • Cross-modal matching

20. Contagious behaviour • “Se os outros fogem, fuja também” • Um comportamento como gatilho inicial • Conjunto de Aves

21. Stimulusenhancement • “Seguir alguém mais velho que você e aprender tudo o que acontece” • Criança seguindo o comportamento dos pais

22. Observationallearning • “Preste atenção àquilo que os outros estão fazendo e experimentando, e se os resultados para eles parecem ser bons ou maus, em seguida, aprender com isso.” • Macacos em uma jaula.

23. Observationallearning • "Preste atenção ao que os outros estão comendo e faça o mesmo." • Ratos

24. Matched-dependentbehaviour • Um exemplo é quando os animais são treinados para determinada ação realizar uma tarefa • Ratos e Pombos

25. Cross-modal matching • Imitação dos sons de aves • “Se alguém move sua cabeça, então faça o mesmo movimento”.

26. Conclusão • A capacidade de aprendizado é essencial para sistemas inteligentes, especialmente em SMA. • Agentes Baseados em Lógica, vantagem devido a sua facilidade de aprendizado.

27. Bibliografia • Learning in Multi-Agent Systems • Safe learning agents? Logic-based agents!

28. Duvidas

29. Aprendizado em SMA com BDI

30. Introdução • Sucesso em aplicações • Diagnósticos para espaços lineares • Dificuldades • Carência de aprendizado em SMA. • Maneira de tratar a complexidade de agentes e SMA. • Aprendizado em SMA pode auxiliar no entendimento de sistemas naturais e artificiais.

31. Agência BDI • Agente de Software • Sistema de computador que exibe comportamento flexível e autônomo.

32. O Modelo BDI • Beliefs (p-state r1 ok) (p-at sander free) (p-at board free) (p-handfree r1 left) (p-handfree r1 right) (p-at sprayer free)

33. O Modelo BDI (achieve(p-sander board)) • Desires

34. O Modelo BDI (achieve(p-sander board)) • Intentions

35. O Modelo BDI • Planos

36. O Modelo BDI • Pilha de Eventos • Percepções do agente são mapeados em eventos que são empilhados.

37. Agentes BDI Aprendendo • Quais elementos da performance são melhorados? • Agentes podem aprender sobre o contexto do plano • Não aprendem sobre o plano, mas sim quando usa-lo

38. Agentes BDI Aprendendo • Qual representação é utilizada por estes elementos? • Fórmulas de crença • Literais de primeira ordem • Fórmulas de situação • Anteriores mais, conjunções e disjunções

39. Agentes BDI Aprendendo • Qual retorno é disponível? • Ter retorno sobre as respostas dos planos • Sucesso ou fracasso • log

40. Agentes BDI Aprendendo • Qual a principal informação disponível? • Biblioteca de planos • Rastro de predicados, funções e suas assinaturas

41. Agentes BDI Aprendendo • É um caso de aprendizado centralizado ou distribuído? • Nível 1 • Interações com o ambiente • Nível 2 • Interações com outros agentes, mensagens • Nível 3 • Observação de outros agentes

42. Árvore de Decisão • Gera Nó (conj. de registros, lista de atributos independentes) • Verificar a quantas classes distintas pertencem os registros desta partição dos dados; • Se número de classes > 1 • Se atributos independentes restantes > 0 • Escolher o atributo independente adequado para representar o nó corrente; • Para cada possível valor do atributo independente que representa o nó corrente: • Gera Nó (respectiva partição, atributos independentes restantes); • Senão • Criar folha com a classe predominante e sua taxa de erro; • Senão • Criar folha com a respectiva classe (taxa de erro=0)

43. B C A Árvore de Decisão Salário  5.000  5.000 Idade B  40  40 T. Empr. Ind., Pesq. Autônomo

44. Exemplo • (acheive (p-sanded board)) • Conjunto de treinamento • Fundamento teórico • Configuração da ACE, aprendizado a partir de um sistema de interpretação

45. Exemplo .kb

46. Exemplo .kb

47. Exemplo rmode? Determina a linguagem #? Variáveis locais +? Variáveis que devem ser instanciadas .kb

48. Exemplo [teste/acertos] Compact notation of pruned tree: plan_context(A,B) ? +--yes: p_state(A,painted) ? | +--yes: [failure] [2.0/2.0] | +--no: [success] [3.0/3.0] +--no: [succes] [1.0/1.0] Learning in BDI Multi-agent Systems 197 Equivalent logic program: n1:-plan_context(A,B). n2:-plan_context(A,B),p_state(A,painted). class([failure]):-plan_context(A,B),p_state(A,painted). class([succes]):-not(n1). class([succes]):-plan_context(A,B),not(n2).

49. Conclusões

50. Bibliografia • Learning in BDI Multi-agent Systems