L’estimation

1. L’estimation

2. Plan • Définition et Objectifs • Rappel régression linéaire • Réseaux neuronaux • Démonstrations

3. Définition et Objectifs Prévoir la valeur d’une variablenon observée à partir de variables observées • Applications typiques • Prévision • Finance, économie, météo, environnement. • Modélisation numérique • Représentation numérique de systèmes physiques difficiles à décrire par des équations explicites : moteurs, …

4. Caractérisation • Généralisation de la classification à une variable à prévoir continue • Comme la classification • C’est un problème supervisé • Il comporte 2 utilisations (mais dans une moindre mesure) • Utilisation descriptive • Exprimer l’équation de dépendance entre les variables d’entrée et la variable de sortie. • Etudier la sensibilité aux variables d’entrée • Utilisation décisionnelle • Calculer l’estimation de la sortie en fonction des entrées • La nature fondamentale du problème est un calcul d’espérance conditionnelle : • E(Demain|Aujourd’hui)

5. Caractérisation (suite) • Les variables observées peuvent être Qualitatives ou quantitatives • La variable à prévoir est continue • Le modèle est mis au point sur un ensemble de données où toutes les variables sont observées (y compris la sortie) • Exemple : Prévision financière • Données : Historique de données macroéconomiques et financières • Variables explicatives : Production industrielle, Devises, Taux de chomage, Taux d’utilisation des capacités, etc. • Variable à prévoir : Indice boursier (CAC40)

6. Techniques disponibles • Régression linéaire • Régression polynomiale ou autres • Réseaux neuronaux • Support Vector Machines

7. Régression linéaire

8. La régression linéaire : rappels • Cadre théorique : variables aléatoires • Cadre expérimental : observations • En pratique : • Un ensemble de couples (X,Y) • On pose : Y* = b0 + b1X1 + b2X2 + … + bpXp • On cherche Y* qui minimise (Y*-Y)2 • On peut trouver facilement les (bi), et on peut mesurer la qualité de l’ajustement • Cas non linéaires ?

9. Réseaux neuronaux

10. Plan • Fondements biologiques • Le perceptron • Les réseaux multicouches • Applications : estimation, classification

11. Fondements biologiques • Objectifs : • Reproduire les capacités de raisonnement de l’homme • Comment : • Reproduire le fonctionnement des structures de base du cerveau • Approche • Modéliser l’élément de base (le neurone) • Modéliser la structure du système (le réseau) • Modéliser le fonctionnement du système (dynamique et apprentissage)

12. Le neurone • Corps cellulaire • Dendrites • Axone

13. Contient le noyau de la cellule Quelques m de diamètre Vie du neurone Intégration de signaux Génération de l’influx Le corps cellulaire

14. Extensions tubulaires du corps cellulaire Quelques 1/10m de diamètre Réception des signaux Les dendrites

15. Fibre nerveuse 1mm à quelques m de longueur Transport des signaux L’axone

16. Le neurone : résumé

17. Point de contact entre neurones axone / dendrite axone / axone axone / corps cellulaire etc. La synapse

18. Le fonctionnement du système • Au niveau microscopique • Neurones, synapses • Au niveau macroscopique • Réseau

19. Fonctionnement micro De l’influx nerveux MEMBRANE

20. Sommateur à seuil : réception de signaux sommation génération si influx total dépasse un certain seuil dendrites axone sommation seuillage Le corps cellulaire

21. Membrane au repos : ddp = -70 mV Influx = inversion locale de polarité membrane au repos + + + + + + + + + + + + + ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ - 70 mV + + + + + + + + + + + + + influx + + + + + ~ ~ + + + + + + ~ ~ ~ ~ ~ + + ~ ~ ~ ~ ~ ~ - 70 mV + + + + + ~ ~ + + + + + + L’influx nerveux

22. Maintien de la ddp canaux K+ ouverts canaux Na+ fermés Ions K+ pression osmotique : vers l’exterieur ddp : vers l’intérieur Maintien couche K+ [Na+] [Cl~] [K+] [K+] [Cl~] [Na+] [K+] [K+] [Na+] canaux [Na+] pompes La membrane au repos

23. Inversion locale ouverture canaux Na+ (aval) ouverture canaux K+ (amont) Résultats inversion progresse rétablissement du potentiel (K+) rétablissement des concentrations (pompes) Délai de réaction sortie [K+] + + + + + + ~ ~ ~ ~ + + + + + + + + ~ ~ ~ ~ ~ ~ + + + + ~ ~ ~ ~ ~ ~ ~ ~ entrée [Na+] + + + + + + ~ ~ ~ ~ + + + + + + + + Propagation de l’influx

24. Transformation du signal électrique en signal chimique(bouton synaptique) Transformation inverse (dendrite) axone influx neurotransmetteurs récepteurs dendrite La réception de l’influx

25. Le modèle du neurone • Un sommateur à seuil • reçoit un ensemble d’influx • effectue une sommation • émet lui-même un influx si la somme des influx reçus dépasse un certain seuil Le neurone = séparateur linéaire Neurone de Mc Cullogh & Pitts (1943)

26. ET logique OU logique X Y -1.5 X Y -0.5 Un neurone pour réaliser des fonctions logiques

27. Le modèle du réseau • Le système visuel : • réseau de neurones réels le mieux connu • capable de réaliser des fonctions complexes dont les ordinateurs sont encore incapables (reconnaissance des formes) • Architecture du système visuel Architecture en couches *** Niveaux d’abstraction successifs • Architecture en couches • *** • Niveaux d’abstraction successifs

28. Le système visuel de la grenouille détecte 4 types de stimuli : Un objet pénètre dans le champ visuel  Un objet pénètre dans le champ visuel et s’y arrête  Le niveau d’éclairement général du champ visuel diminue  Un petit objet de forme arrondie pénètre dans le champ visuel et s’y déplace de façon erratique Fonctionnement du système • Stimuli , ,  FUITE • Stimulus  ATTAQUE En laboratoire, la grenouille est incapable de se nourrir de moucherons déjà tués : le stimulus correspondant n’est pas reconnu !!

29. Adaptation • Constat : La capacité de traitement de stimuli complexes est insuffisante => Adaptation nécessaire • Support de l’adaptation : Les synapses • Principe : Le réseau de neurones adapte la fonction qu’il réalise à son environnement en modifiant la force des relations entre les neurones. Un nouveau stimulus pourra alors progressivement déclencher une action

30. Fondements biologiques : résumé • 3 idées : • Une cellule à seuil pour réaliser des séparations • Un réseau à couches pour hiérarchiser les informations • Un mécanisme d’apprentissage des connexions pour adapter le réseau à une fonction donnée

31. Principe des modélisations • A partir du modèle biologique • Modèle du neurone (neurone formel) • Modèle du réseau (architecture et fonctionnement) • Mécanisme d’apprentissage

32. Modèle du neurone Sommateur à seuil

33. Architecture du réseau(1) Hiérarchique

34. Architecture du réseau :(2) Complètement connecté

35. Fonctionnement du réseau • Le réseau est un système dynamique • Etat initial • Aléatoire • Fixé par l’extérieur (ex : rétine) • Règle de fonctionnement • Séquentiel • Parallèle

36. Apprentissage • Non supervisé • L’environnement imprime sa marque sur le réseau neuronal : le réseau devient d’une certaine façon une image de l’environnement • Supervisé • On introduit explicitement la notion de tâche à accomplir pour le système. Le réseau neuronal doit alors s’adapter pour réaliser une fonction donnée.

37. Ai = activation du neurone i Apprentissage non supervisé :La règle de Hebb j i Wij Wij(t+1)=Wij(t)+k Wij(t+1)=Wij(t) Wij(t+1)=Wij(t) Wij(t+1)=Wij(t) Wij(t+1)=Wij(t)+kAiAj

38. Règle de Hebb : exemple Cette matrice représente un réseau de neurones complètement connecté sur lequel on a formé la lettre A (les connexions ne sont pas représentées). Si on forme successivement un ensemble de lettres, et que deux neurones sont souvent activés simultanément, alors la règle de Hebb conduira à renforcer la connexion entre ces deux neurones.

39. Apprentissage supervisé • Principe • On dispose d’un ensemble d’exemples (X,Y), où X est l’entrée et Y la sortie. • Présenter un exemple Xk au réseau • Le faire fonctionner • Comparer la sortie du réseau avec Yk • Modifier les poids du réseau s’il y a une erreur

40. Apprentissage supervisé • Règles de modification des poids • Dépendent de l’architecture • La règle de Hebb peut s’appliquer

41. Le perceptron • 1958 (Rosenblatt) • Première tentative d’intégrer : • Le neurone à seuil • La règle de Hebb • Propriétés : • spécifications précises • assez complexes pour être intéressant • assez simple pour être étudié • biologiquement plausible

42. Neurones à seuil Architecture calquée sur celle du système visuel Apprentissage par essai et erreur Description Couche d’association figée

43. Fonctionnement du perceptron • On présente Xk sur la rétine du perceptron, et on souhaite avoir la réponse dk (binaire) • Quatre cas peuvent se produire • dk=1 et sk=1 => ok • dk=1 et sk=0 => erreur • dk=0 et sk=1 => erreur • dk=0 et sk=0 => ok

44. Règle d’apprentissage du perceptron • Cas d’erreur • Par exemple dk=1 et sk=0 • Explication • La somme pondérée des entrées de la cellule de décision est trop faible • Action • Augmenter les poids dont l’entrée est positive • Diminuer les poids dont l’entrée est négative

45. Règle d’apprentissage du perceptron Wi(k+1)= Wi(k)+(dk-sk).ai • Cette règle • Peut se ramener à la règle de Hebb entre les cellules d’association et la cellule de décision • Converge si la solution existe • La solution existe ssi • Le problème est linéairement séparable

46. Limites du perceptron : le XOR

47. Le problème du XOR Le problème du XOR n’est pas linéairement séparable : il s’agirait ici de faire passer une droite séparant les points blancs des noirs.

48. Solution du problème du XOR En ajoutant une cellule d’association qui réalise le ET logique des deux cellules de la rétine, le problème du XOR devient linéairement séparable : il suffit à présent de faire passer un plan pour séparer les points blancs des noirs, ce que réalise le plan figuré sur le dessin.

49. Théorème de connexité (Papert & Minsky) m cases • Non connexe • L+M+R > s • Connexe • L’+M+R <= s • => L’< L • Connexe • L+M+R’ <= s => R’<R • Non connexe • L’+M+R’ > s • => R’>R : impossible m+2 cases

50. Faites-vous mieux qu’un perceptron ?