1 / 23

Introduction

Introduction. Réseau de neurones artificiel. Abstraction du système nerveux central humain Traitement parallèle de l’information Par opposition à un automate sériel comme un ordinateur Capacité d’apprentissage et d’adaptation

emele
Download Presentation

Introduction

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Introduction

  2. Réseau de neurones artificiel • Abstraction du système nerveux central humain • Traitement parallèle de l’information • Par opposition à un automate sériel comme un ordinateur • Capacité d’apprentissage et d’adaptation • Principe de traitement très simples et identiques pour tous les éléments • Mais comportement de groupe complexe! • Applications • Résolution de problèmes difficiles • Modélisation biologique

  3. Réseau de neurones biologique • Quand un pigeon devient expert en art! (Watanabeet al. 1995) • Experience : • Pigeon dans une boîte de Skinner • Exposition aux tableaux de deux artistes (Chagall / Van Gogh) • Récompense pour bec à la vue d’un tableau de l’un des artistes (e.g. Van Gogh)

  4. Les pigeons utilisés ont pu distinguer Van Gogh de Chagall avec 95% de précision pour les tableaux d’entraînement • Précision de 85% pour les tableaux non vus auparavant! • Mémoire oui, mais avec… • Identification de traits essentiels et/ou généralisation • Absence apparente d’un processus réfléchi • Force majeure des réseaux de neurones! (artificiels et biologiques)

  5. 1m SNC 10cm Sous-Systèmes 1cm Régions 1mm Réseaux locaux 100mm Neurones 1mm Synapses 0.1mm Molécules Niveaux de traitement dans le système nerveux central humain

  6. Circuits locaux dans le cortex visuel LGN inputs Cell types

  7. Neuronebiologique Sortie impulsive : 1 – Le neurone répond 0 – Le neurone ne répond pas (Sans nécessairement être inactif)

  8. Synapse biologique • Agent principal du comportement neuronal • Connexion typique le long d’un arbre dendritique • Force de connexion variable + ou - • Plasticité à court terme • Utilisation de mécanismes électrochimiques • Origine corrélationnelle?

  9. Électrique (rare) 3.5 nm pré-post distance Continuité cytoplasmique (e.g. muscle cardiaque, capteurs sensoriels) Courant ionique Propagation instantanée Transmission bidirectionnelle Chimique 20-40 nm pré-post distance Discontinuité cytoplasmique Vésicules présynoptiques et récepteurs postsynaptiques Transmetteur chimique Délai synaptique .3 ms Transmission unidirectionnelle Types de synapses

  10. Synapse dendritique

  11. Neurotransmetteurs Transmitter Channel-typ Ion-current Action Transmitter Channel-typ Ion-current Action Acetylecholin nicotin. Receptor Na+ and K+excitateur Glutamate AMPA / Kainate Na+ and K+excitateur GABA GABAA-Receptor Cl-inhibiteur Glycine Cl-inhibiteur Acetylecholin muscarin. Rec. - metabotropic, Ca2+ Release Glutamate NMDA Na+, K+, Ca2+Dépend de la tension bloqué au potentiel de repos

  12. Neurotransmetteurs • Plusieurs types • Amino Acides : Glutamate, GABA • Amines biogéniques : Dopamine, Histamine • Neuropeptides … LHRH, Proctolin • Endorphines, acetylcholine, etc. • NMDA, GABAAsonrfrèquents au niveau des récepteurs • Certainssontexcitateurs et d`autresinhibiteurs

  13. De l’entité biologique au modèle Neurone -> Nœud Synapse -> Arc pondéré

  14. x0 = +1 w0 x1 w1 Fonctiond’activation État interne v Sortie y Entrée x2 w2 Poidssynaptiques Sommateur linéaire xm wm Modélisationsimplifiée Biais • Hypothèses : • Synapses synchrones • Pas de pertes • Sortie non impulsive

  15. Fonctions d’activation communes • Simplifications des séquences d’impulsions • La fréquence des impulsions remplace l’information individuelle • L’information de phase est perdue • Plusieurs fonctions existent • L’efficacité dépend de l’application

  16. Fréquence des impulsions biologiques • La valeur moyenne dépend de plusieurs facteurs • Pertes (leakage), saturation, sources de bruit • Généralement modelé avec une fonction sigmoïde

  17. Topologies de base Réseau multicouche Réseau récurrent • En général, les réseaux récurrents utilisent des règles d’apprentissage d’inspiration biologique et les réseaux multicouches des règles tirées de l’ingénierie Unités de sortie Unitéscachées Unitésd’entrée Unitéscachées Unitésd’entrée/sortie

  18. Taxonomie +BSB, BAM, etc.

  19. Savoir du RNA • Réside dans la présence et force de connexions inter-neuronales (synapses) • Mais : • Différents types de neurones • Différents types de topologies de réseaux  Comment trouver les bons poids?

  20. Plasticitésynaptique

  21. Spike-timing Dependent Synaptic Plasticity (STDP) • La précédence des impulsions pré et post synaptiques influe sur la plasticité synaptique. • Plus conforme à la règle de Hebb (ajout de la causalité temporelle) • Popularité croissante dans les modèles artificiels From Bi and Poo J. Neurosci. 18, 10464 (1998)

  22. Pourquoialleraussiloin ? • Un modèle simple de mémoire associative : • On considère/forme un ensemble orthogonal de N vecteurs à mémoriser • On définit l’ensemble des N vecteur-réponses désirés • On calcule la matrice • La fonction de rappel d’un stimulus quelconque est alors • Ça fonctionne, non? Mais que se passe-t-il lorsque les entrées sont corrélées, bruitées ou non linéairement séparables ?

More Related