François Benoît-Marand, Laurent Signac et Jean-Claude Trigeassou, Laboratoire d’Automatique et d’Informatique Industriel

1. Identification de paramètres physiques à l’aide de réseaux de neurones à temps continu François Benoît-Marand, Laurent Signac et Jean-Claude Trigeassou, Laboratoire d’Automatique et d’Informatique Industrielle de Poitiers

2. PLAN I. PRINCIPES II. IDENTIFICATION PAR RESEAUX DE NEURONES A TEMPS CONTINU III APPLICATIONS ET RESULTATS

3. I. PRINCIPES • Définition du problème • Définition du procédé d’identification • Propriétés des réseaux de neurones • Approche discrète et approche continue

4. Définition du problème Processus physique étudié : Notion de fonctions candidates : On recherche le couple qui approche le mieux

5. Définition du procédé d’identification Méthode classique • On a le système suivant : • doit fournir les valeurs de • Pour toute fonction on préférera simuler et faire une identification dynamique : • Problème : • Temps de calcul (dû à la simulation) • Pour un approximateur universel : • Pour toute fonction : • Avantage : • On teste à la chaîne les fonctions candidates (identification statique) processus processus optimisation Méthode avec réduction de modèle processus optimisation optimisation

6. Utilité des réseaux de neurones MLP Les réseaux de neurones MLP possèdent la propriété suivante [Hornik 89] Les MLP sont des approximateurs universels Propriété sur la parcimonie d’un approximateur [Barron 93] Les MLP sont des approximateurs universels parcimonieux Des méthodes computationnelles, dédiées à l ’optimisation, ont été développées pour les réseaux MLP (rétropropagation du gradient). • Pour une précision donnée, en fonction du nombre de variables, • le nombre de paramètres croit : • exponentiellement pour un approximateur linéaire • par rapport à ses paramètres (cas des polynômes) • linéairement pour un approximateur non linéaire (cas des MLP)

7. Réseaux de neurones Approche discrète et approche continue RNTD Réseaux de neurones RNTC Si f est linéaire Si f est non linéaire ?

8. En résumé processus optimisation RNTC Identification dynamique par RNTC Réduction de modèle optimisation

9. II. IDENTIFICATION PAR RNTC • Méthode ICES et Méthode ICEE • Optimisation • Algorithme de Levenberg-Marquardt • Fonction Réalisée • Rétropropagation du gradient • Recherche du gradient • Inconvénients de la méthode ICES • Méthodologie • Compléments

10. Méthodes RNTC : ICES et ICEE ICES pour RNTC ICEE pour RNTC processus processus • On utilise en fait un intégrateur numérique. • Plus cet intégrateur sera précis et plus sera proche de . • Pour améliorer la précision on peut : • Diminuer la période de simulation indépendamment de , • Utiliser une méthode d’intégration plus précise ou augmenter l’ordre de la méthode. • De plus on pourra avoir une période de simulation variable à l ’inverse des réseaux RNTD. • Désavantages : • La période de prédiction ne peut être inférieure à • La méthode est sensible au bruit de sortie du processus (la sortie bruité est utilisée comme entrée de ) • On la verra par la suite l’utilité de cette méthode

11. Algorithme de Levenberg-Marquardt Principe de l’optimisation : Période d’échantillonnage : Nombre de données échantillonnées : Nombre d’états à identifier Algorithme de Levenberg-Marquardt

12. couche m-1 couche m entrée couche M sortie Fonction réalisée par un réseau MLP Schéma Notations Fonction réalisée

13. couche m-1 couche m sortie couche k couche k+1 Rétropropagation du gradient Schéma

14. Recherche du gradient (ICEE) Par rétropropagation on connaît : On développe directement la méthode de prédiction (Euler dans cet exemple) :

15. Recherche du gradient (ICES) Quel que soit l’intégrateur on écrit : On développe alors le terme de l’extrême droite (on change de notation par commodité) : Puis : Finalement on obtient :

16. Inconvénients de la méthode ICES Temps de simulation Valeurs de simulées Valeurs de simulées Temps de calcul élevé Fonction de sensibilité (on ne connaît pas ) Convergence de Divergence de Identification Identification impossible

17. processus Filtre PB processus correcteur Méthodologie générale Méthode ICEE (avec filtre PB) Méthode ICES partant du réseau Réduction de modèle

18. Compléments Influence de l’intégrateur :Pour la méthode ICES, on utilise un intégrateur numérique. Plus cet intégrateur sera précis et plus la fonction identifiée sera proche de la fonction . Dans le cadre de nos travaux nous avons comparé deux types d ’intégrateurs :Euler et Runge-Kutta 4.Pour la méthode ICEE, nous nous sommes limité à un prédicteur basé sur la méthode de Euler. Cela nous a suffit car cette méthode sert uniquement pour initialiser les paramètres du réseau avant d ’utiliser la méthode ICES. Réduction de modèle :Nous n ’avons pour l ’instant que survolé cette partie du problème.Nous utilisons pour l ’identification la fonction lsqcurvefit de MathLab qui utilise différente méthode (Gauss-Newton par exemple ou Levenberg-Marquardt)On donnera plus d ’information sur cette partie du problème dans la section Application.

19. III. EXEMPLES D’APPLICATIONS ET RESULTATS • Cinétique Chimique • Ordre supérieur • Système mixte

20. Cinétique chimique Définition du processus Exemple d ’une réaction chimique factice : Les deux réactifs de la réaction sont A et B Les produits de la réaction sont C et D. Il y a deux composés intermédiaires et . Les réactions élémentaires sont les suivantes : Une connaissance experte du système nous indique que : L ’objectif est de déterminer la valeur numérique des paramètres physiques qui dépendent des constantes cinétiques des réactions élémentaires.

21. Cinétique chimique Définition du processus Données réelles Données bruitées X1 X2 A B X1 X2

22. Cinétique chimique Résultat de l’identification par la méthode ICEE sur les données réelles X1 estimé X1 réel X2 estimé X2 réel

23. Cinétique chimique Résultat de l’identification par la méthode ICEE sur les données bruitées X1 estimé X1 réel X2 estimé X2 réel La fonction réalisée par le réseau est biaisé. Toutefois l’utilisation d ’un filtre PB va nous permettre d ’atténuer ce problème.

24. Cinétique chimique Résultat de l’identification par la méthode ICES sur les données bruitées (en partant du réseau obtenu par ICEE) X1 estimé X1 réel X2 estimé X2 réel

25. Cinétique chimique Réduction de modèle On étudie la fonction candidate suivante : Les paramètres physiques associés sont : Si on opte pour un intégrateur de type Euler on trouve : Si on opte pour un intégrateur de type RK4 on trouve : • Nous avons testé d ’autres fonctions candidates : • si l ’un des termes initialement présents n ’apparaît pas dans la fonction, l ’erreur de réduction de modèle est au moins 50 fois supérieure à celle obtenue dans les cas précédents • si on rajoute des termes à l ’expression précédente alors les résidus de la réduction de modèle ne diminuent que très peu (diminution de moins de 5 pour-cent de l ’erreur pour l ’ajout de 6 termes supplémentaires ou plus) • L ’étude des résidus de la réduction de modèle va donc nous permettre de déterminer les termes nécessaires et nous permettre de discuter de l ’utilité de termes supplémentaires. • De nombreuses fonctions seront testées et l ’on comprend mieux l ’intérêt de pouvoir faire ces tests à la chaine par identification statique.

26. Ordre supérieur Définition du processus

27. Ordre supérieur Identification par RNTC d ’ordre 1 avec ICES

28. Ordre supérieur Identification par RNTC d ’ordre 2 avec ICES

29. Ordres supérieur Réduction de modèle On étudie la fonction candidate suivante : Les paramètres physiques associés sont : Si on opte pour un intégrateur de type RK4 on trouve :

30. Système mixte Définition du processus

31. Système mixte Identification par RNTC avec ICES pour des ordres différents

32. IV. CONCLUSION • Modèle boite noire (DMNN) • Modèle semi physique à temps discret • Modèle semi physique à temps continu

33. Réseaux de neurones Modèle boite noire • Principales références : Narendra et Parthasarathy (1990) et Miller,Sutton et Werbos (1990) • Inconvénients de la méthode : • Le réseau n ’identifie pas directement la fonction . • La méthode ne permet pas d ’utiliser une période de simulation variable. • De plus les méthodes classiquement utilisées pour retrouver sont basées sur des méthodes peu raffinées :

34. Modèle semi physique à temps discret • Ces modèles sont obtenus par discrétisation du modèle de connaissance : • Ces méthodes permettent de palier aux problèmes du modèle boite noire : • approche directement la fonction . • La période de simulation peut être variable. • La précision de l ’identification sera fonction de la précision de la méthode de discrétisation. Yi-Jen Wang et Chin-Teng Lin (1998)

35. Modèle semi physique à temps continu • Finalement le modèle introduit (RNTC) a les avantages du modèle semi physique à temps discret. • Il possède deux atouts supplémentaires : • L ’architecture du procédé est indépendante de la méthode d ’intégration choisie • La méthode d ’optimisation est indépendante de la méthode d ’intégration choisie • L ’approche à temps continu apparaît plus générale que la méthode de discrétisation du modèle de connaissance. Réseaux de neurones