1 / 31

CNN template dekompozíció - analogikai algoritmusok implementációjának egy lehetséges eszköze

CNN template dekompozíció - analogikai algoritmusok implementációjának egy lehetséges eszköze. Ph.D. értekezés tézisei írta: Kék László Témavezető: Dr. Roska Tamás akadémikus. Tartalom. Celluláris Neurális Hálózatok (CNN) alapjai Motiváció Tézisek Összefoglaló Köszönetnyilvánítás.

minna
Download Presentation

CNN template dekompozíció - analogikai algoritmusok implementációjának egy lehetséges eszköze

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. CNN template dekompozíció - analogikai algoritmusok implementációjának egy lehetséges eszköze Ph.D. értekezés téziseiírta:Kék László Témavezető:Dr. Roska Tamás akadémikus

  2. Tartalom • Celluláris Neurális Hálózatok (CNN) alapjai • Motiváció • Tézisek • Összefoglaló • Köszönetnyilvánítás

  3. Celluláris Neurális Hálózatok (CNN) • L. Chua & L. Yang, 1988 • N-dimenziós processzor tömb • Cellák állapota folytonos, funkciójuk egyszerű • Lokális kölcsönhatás (lineáris ill. nemlineáris) • Számos, sokrétű alkalmazási terület • Analogikai algoritmusok a CNN Univerzális Gépen • A CNN-UM analóg VLSI implementációja

  4. xij- állapot/ yij - kimenet A zij - áram B uij- bemenet Celluláris Neurális Hálózat (CNN) j i Template:[ABz]

  5. CNN számítás állapot/kimenet bemenet A B z

  6. CNNUNIVERZÁLISGÉP CNN-UM architektúrája

  7. Motiváció Cél: A CNN chipek architektúrájából fakadó korlátok algoritmikus úton történő feloldása Korlátok: • 3x3-as lokális összeköttetés (r=1) • lineáris template-ek Nehézségek (problémák): • Nemlineáris template-ek • Nagyméretű (r>1) template-ek • Analóg CNN-UM implementációk inhomogenitása

  8. Tézisek 1. 3x3-as nemlineáris template-dekompozíció 2. Nagyméretű template-dekompozíció 3. Hibatűrő template-dekompozíció

  9. 1. tézis3x3-as nemlineáris template-dekompozíció • Analogikai algoritmust dolgoztam ki a 3x3-as nemlineáris template-ek egy osztályának (lineáris A, nemlineáris - szakaszonként lineáris - B) olyan CNN architekrúrán való implementálására, amely csak 3x3-as lineáris template-ek futtatására alkalmas • Az algoritmus korlátai: analóg be- és kimenet, fixed state, bias map • Kísérletileg igazoltam egy egyszerű nemlineáris template olyan CNN-UM chipen (cP400) való implementálhatóságát, amely csak bináris be- és kimenettel rendelkezik, nincs fixed state-je sem bias map-je

  10. 1 • Megfogalmaztam a nemlineáris A template-dekomozíció irányelveit folytonos idejű CNN-re • Megmutattam, hogy DTCNN esetében a 3x3-as nemlineáris B template-dekompozíció módszere nemlineáris A template-re is alkalmazható Nemlineáris A template dekompozíció

  11. Elméleti alapok 1

  12. 1 1. tézis (folyt.) Elméleti alapok

  13. Kísérleti (szimulációs) eredmények 1 b CONTOUR1 Módosított template (B=0): Kezdeti állapot Kiszámított Bias Kimenet

  14. cP400-on végzett kísérlet 1 LEFTEDGE template Bemenet Kezdeti állapot cP400(CNN-UM chip) Kimenet

  15. Kapcsolódó publikációk 1 • L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, International Journal of Circuit Theory and Applications, Vol. 26, No.6, pp. 551-566, 1998. • L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Proceedings of the European Conference on Circuit Theory and Design(ECCTD’97), pp. 661-666, Budapest, 1997. • L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Research report of the Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences (MTA SzTAKI), DNS-7-1996, Budapest, 1996.

  16. 2. tézisNagyméretű template-dekompozíció • Eljárást adtam nagyméretű nemlineáris template-ek egy osztályának (NxN-es lineáris A (aij=0, ahol r>1) és nemlineáris - szakaszonként lineáris - B) 3x3-as lineáris template-ekkel való helyettesítésére • Az algoritmus korlátai: analóg be- és kimenet, fixed state, bias map • Megmutattam, hogy DTCNN esetében a módszer olyan template-ekre is alkalmazható, amely nagyméretű lineáris vagy nemlineáris A template-et tartalmaz • Kísérletileg igazoltam egy 5x5-ös lineáris template olyan CNN-UM chipen (cP400) való implementálhatóságát, amely csak bináris be- és kimenettel rendelkezik, nincs fixed state-je sem bias map-je

  17. Elméleti alapok 2 • Problémák: • nemlinearitás • nagyméretűség • Megoldás: • Partition-Shift algoritmus (K. Crounse, 1996) • az 1. tézisben megfogalmazott 3x3-as nemlineáris template dekompozíció • Alapgondolat: • Bias mappel helyettesíteni (kiváltani) a B template-et

  18. 2 2. tézis (folyt.) Elméleti alapok

  19. Kísérleti (szimulációs) eredmények 2 Diagonális vonaldetektor Dekomponáló 3x3-as template-ek

  20. Kísérleti (szimulációs) eredmények (folyt.) 2 Módosított template Bemenet Kezdeti állapot Kiszámított Bias Kimenet

  21. cP400-on végzett kísérlet 2 5 pixelnél nem rövidebb vízszintes vonaldetekció Bemenet Kezdeti állapot cP400(CNN-UM chip) Kimenet

  22. Kapcsolódó publikációk 2 • L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, International Journal of Circuit Theory and Applications, Vol. 26, No.6, pp. 551-566, 1998. • L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Proceedings of the European Conference on Circuit Theory and Design(ECCTD’97), pp. 661-666, Budapest, 1997. • L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Research report of the Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences (MTA SzTAKI), DNS-7-1996, Budapest, 1996.

  23. 3. tézisHibatűrő template-dekompozíció • Megmutattam, hogy a CNN-UM chipek esetleges pontatlan működése tetszőleges csatolatlan bináris be- és kimenetű template esetén kiküszöbölhető több, kisebb komplexitású csatolatlan template felhasználásával • Kidolgoztam két hibatűrő template-dekompozíciós eljárást • I. eljárás: a template által meghatározott Boole függvény diszjunkt normál alakjából előállítja azt az utód-template szekvenciát, amelyek segítségével kiváltjuk a kiinduló template-et • II. eljárás: iteratív módon csökkenti a megvalósítandó template nehézségi fokát (növeli annak robusztusságát)

  24. 3 • Definiáltam a template robusztusság-érték fogalmát • Bebizonyítottam, hogy dimenziócsökkentéssel a template robusztusság-értéke nem csökken, általános esetben növekszik • Igazoltam, hogy a Shannon-kifejtés lineárisan szeparálható Boole-függvények esetén 4-ről 3 tagra egyszerűsödik • Kísérletileg igazoltam, hogy a CNN template könyvtárban található és a cP400-as chipen dekompozíciót igénylő összes 3x3-as bináris be- és kimenetűtemplate maximum 2 utód-template felhasználásával dekomponálható • Memutattam, hogy a cP400-as chip robusztusságérték-határa megközelítően 0.5-el egyenlő

  25. 3 3. tézis (folyt.) Elméleti alapok

  26. LCP template dekompozíciója 3 LCP <=> TEM1ANDTEM2 TEM1: TEM2:

  27. LCP template dekompozíciója (folyt.) 3 LCPcP400 <=> TEM1*ANDTEM2* TEM1*: TEM2*:

  28. Kapcsolódó publikációk 3 • P. Földesy, L. Kék, Á. Zarándy, T. Roska, and G. Bártfai, “Fault Tolerant Design of Analogic CNN Templates and Algorithms Part I: The Binary Output Case”, IEEE Transactions on Circuits and Systems special issue onBio-Inspired Processors and Cellular Neural Networks for Vision, Vol. 46, No. 2, pp. 312-322, February 1999. • P. Földesy, L. Kék, T. Roska, Á. Zarándy, and G. Bártfai, “Fault Tolerant CNN Template Design and Optimatization Based on Chip Measurements”, Proceedings of the IEEE International Workshop on Cellular Neural Networks and their Applications (CNNA’98), pp. 404-409, London, 1998. • P. Földesy, L. Kék, Á. Zarándy, T. Roska, and G. Bártfai, “Fault Tolerant Design of Analogic CNN Templates and Algorithms Part I: The Binary Output Case”, Research report of the Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences (MTA SzTAKI), DNS-3-1998, Budapest, 1998.

  29. Összefoglaló Tudományos eredményeim: • 3x3-as nemlineáris (A - lineáris, B - szakaszonként lineáris) template-ek csak lineáris template-ek futtatására alkalmas architektúrán való implementálása • NxN-es (nemlineáris) template-ek 3x3-as lineáris template-ekké való dekompozíciója • 3x3-as csatolatlan bináris be- és kimenetű template-ek hibatűrő dekompozíciója

  30. Köszönetnyilvánítás • Dr. Roska Tamás • MTA Doktori Tanács, MTA SzTAKI • BME Műszaki Informatika Szak Doktori Tanácsa • Feleségem, szülők, család • Analogikai és Neurális Számítások Laboratórium munkatársai (Dr. Zarándy Ákos, Dr. Szolgay Péter, Dr. Radványi András, Dr. Szirányi Tamás, Földesy Péter, Bártfai Guszti, Dr. Venetianer Péter, Nemes László, Rekeczky Csaba, Dr. Kozek Tibor, ...) • Dr. Arató Péter, a BME Irányítástechnika és Informatika Tanszék vezetője • Bírálók: Dr. Rudas Imre, Dr. Jobbágy Ákos • Cikkek bírálói • Dr. Holovács József, Dr. Naum Aizenberg, Dr. Igor Aizenberg • Neubauer Ferenc

  31. Köszönöm figyelmüket.

More Related