1 / 71

Govorne in slikovne tehnologije

Govorne in slikovne tehnologije. Področja uporabe Prof. dr. France Mihelič Doc. dr. Vitomir Štruc. prosojnice pripravila: as.dr. Vitomir Štruc, prof.dr.France Mihelič. Vsebina. Področja uporabe Šivanje slik SIFT SURF Detekcija objektov Viola-Jones Drugi detektorji.

gypsy
Download Presentation

Govorne in slikovne tehnologije

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Govorne in slikovne tehnologije Področja uporabe Prof. dr. France Mihelič Doc. dr. Vitomir Štruc prosojnice pripravila: as.dr. Vitomir Štruc, prof.dr.France Mihelič

  2. Vsebina • Področja uporabe • Šivanje slik • SIFT • SURF • Detekcija objektov • Viola-Jones • Drugi detektorji Vir slik: http://www.vrmag.org/issue28/ADVANCED_PANORAMIC_STITCHING_-_A_REASONED_APPROACH.html, http://people.kyb.tuebingen.mpg.de/kienzle/fdlib/fdlib.htm

  3. Področja uporabe • Primeri, ki si jih bomo ogledali: • Šivanje slik (Laboratorijska vaja 2) • Detekcija objektov • Razpoznavanje objektov • Segmentacija Janez

  4. Šivanje slik • S postopkom šivanja slik (angl. imagestitching) želimo sestaviti večjo sliko (mozaik) iz množice manjših slik iste scene Vir slik: http://graphics.cs.cmu.edu/courses/15-463/2005_fall/www/463.html

  5. Šivanje slik • Omogoča prikaz večjega področja določene scene • Primeri: • Komercialne kamere, vidno polje = 50 x 35° Vir slik: http://graphics.cs.cmu.edu/courses/15-463/2005_fall/www/463.html

  6. Šivanje slik • Omogoča prikaz večjega področja določene scene • Primeri: • Komercialne kamere, vidno polje = 50 x 35° • Človeško vidno polje = 200x135° Vir slik: http://graphics.cs.cmu.edu/courses/15-463/2005_fall/www/463.html

  7. Šivanje slik • Omogoča prikaz večjega področja določene scene • Primeri: • Komercialne kamere, vidno polje = 50 x 35° • Človeško vidno polje = 200 x 135° • Mozaik = 360 x 180° Vir slik: http://graphics.cs.cmu.edu/courses/15-463/2005_fall/www/463.html

  8. Šivanje slik • Osnovni pristop • Zajemi slike določene scene z istega položaja • Izračunaj transformacijo med drugo in prvo sliko tako, da enaki objekti na obeh slikah sovpadajo • Preslikaj drugi sliko z izračunano transformacijo (poravnava) • Združi obe sliki v skupni mozaik • Ponovi, dokler ne uporabiš vseh slik Ravnina zajema slike Ravnina mozaika Vir slik: http://graphics.cs.cmu.edu/courses/15-463/2005_fall/www/463.html

  9. Šivanje slik • Pri sestavljanju mozaika posamezne slike preslikamo na skupno ravnino • Mozaik tvorimo na tej ravnini • Mozaik „predstavlja“ sintetično široko-kotno kamero Projekcijska ravnina Vir slik: http://graphics.cs.cmu.edu/courses/15-463/2005_fall/www/463.html

  10. Šivanje slik • Zahteva samodejne algoritme za: • Iskanje ujemanja objektov na parih slik, npr. • Z lokalnimi deskriptorji • SIFT (angl. ScaleInvariantFeatureTransform) • SURF (angl. Speeded Up RobustFeature) • Izračun transformacijske matrike • RANSAC

  11. Šivanje slik • Zahteva samodejne algoritme za: • Iskanje ujemanja objektov na parih slik, npr. • Z lokalnimi deskriptorji • SIFT (angl. ScaleInvariantFeatureTransform) • SURF (angl. Speeded Up RobustFeature) • Izračun transformacijske matrike • RANSAC

  12. Šivanje slik • Iskanje ujemanja objektov na parih slik • Postopek: • Detektiraj značilne točke slike v vsaki od slik • Poišči ujemajoče pare • Problem 1: • Kako poiskati enake značilne točke v vsaki od slik? Ujemanja ni Potrebujemo učinkovit in ponovljiv postopek detekcije značilnih točk slike Vir slik: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

  13. Šivanje slik • Problem 2: • Kako poiskati ujemanje med detektiranimi značilnimi točkami slik? ? Potrebujemo zanesljiv in diskriminatoren opis detektirane značilne točke (deskriptor, vektor značilk, …) Vir slik: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

  14. Šivanje slik • Lokalni deskriptorji - osnove • Problem iskanja ujemanja pogosto rešujemo s pomočjo lokalnih deskriptorjev (SIFT, SURF, …) • Postopki za izračun lokalnih deskriptorjev obsegajo postopke za: • Detekcijo značilnih točk v slikah (angl. keypointdetector) • Izračun dejanskega deskriptorja (vektorja značilk) • Določitev ujemanja med pari deskriptorjev • Lokalni deskriptorji se uporabljajo za: • Poravnavo slik • 3D rekonstrukcijo • Sledenje objektov v videu • Razpoznavanje objektov • Navigacijo robotov • … Vir slik: http://adrian-primeproject2011.blogspot.com/2011_07_01_archive.html

  15. Šivanje slik • Lokalni deskriptorji - SIFT • SIFT1 (angl. ScaleInvariantFeatureTrasform) deskriptorji spadajo med pogosteje uporabljene lokalne deskriptorje, ki se uporabljajo za določanje ujemanja objektov slik • SIFT deskriptorji so invariantni na različne spremembe v sliki, npr.: • Translacijo, • Rotacijo, • Velikost, • Perspektivo (delno), • … • SIFT zaščiten s patentom • SIFT v praksi: v digitalnih fotoaparatih pri sestavljanju panoramskih slik • V primerjavi z drugimi lokalnimi deskriptorji so SIFTi pogosto učinovitejši (večja diskriminatornost, boljša ponovljivost, …) Vir slik: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm • 1David Lowe (1999): "Object recognition from local scale-invariant features"

  16. Šivanje slik • Lokalni deskriptorji - SIFT • Postopek izračuna: • Detekcija značilnih točk slike • Iskanje ekstremov v prostoru ločljivosti • Lokalizacija značilnih točk • Določitev orientacije značilne točke • Izračun deskriptorja Vir slik: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

  17. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Postopek detekcije značilnih točk mora na sliki poiskati enake značilne točke ne glede na velikost objektov na sliki • Poiskati moramo torej značilno ločljivost oz. velikost okolice značilne točke Realni primer Ilustrativno Značilne točke slike Vir slik: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt, www.cs.cmu.edu/~efros/courses/.../0319.SIFT.ppt

  18. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Za ilustracijo predpostavimo različna (krožna) področja v okolici izbrane točke • Področja bodo po izgledu enaka ob pravilni izbiri velikosti okolice Vir: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

  19. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Težava: kako določiti velikost področij (neodvisno) v vsaki sliki posebej Vir: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

  20. skaliranje= 1/2 Slika 1 f f Slika 2 Velikost področja Velikost področja Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Rešitev: načrtamo funkcijo na področju v okolici izbrane točke, ki je neodvisna od velikosti okolice • Primer: POVPREČNA SVETILNOST slikovnih elementov področja • Za izbrano točko v sliki, lahko povprečje svetilnosti področja prikažemo kot funkcijo velikosti področja Vir: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

  21. skaliranje= 1/2 Slika 1 f f Slika 2 s1 s2 Velikost področja Velikost področja Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Klasični postopek: poišči lokalni maksimum izračunane funkcije • Velikost področja, pri kateri se pojavi maksimum je neodvisna od velikosti slike (angl. scaleinvariant) • Pomembno: od velikosti neodvisna velikost krožnega področja se poišče v vsaki sliki posebej (neodvisno) Vir: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

  22. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • V praksi so „dobri“ kandidatke za izbiro funkcije f tiste funkcije, ki se odzivajo na kontrast slike • Primer: f = jedro*slika • Jedro (kernel, filter, maska): • Laplace • DoG • Oba jedra sta invariantna na: • velikost (angl. scale) • rotacijo Vir: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

  23. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Detekcija značilnih točk postopka SIFT zato išče ekstreme v prostoru ločljivosti (velikosti) – angl. scale-space G1 Primer Gaussovega prostora ločljivosti (velikosti) , za s korakom 0.6 G5 Vir slik: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt

  24. scale  DoG  y x  DoG  Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Za detekcijo značilnih točk se uporablja DoG1 prostor ločljivosti (velikosti) Iščemo ekstreme 3D prostora ločljivosti Podvzorčenje Glajenje z Gaussov prostor ločljivosti (velikosti) DoG prostor ločljivosti (velikosti) Vir slik: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt • 1DoG – angl. DifferenceofGaussians

  25. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Za detekcijo značilnih točk se uporablja DoG1 prostor ločljivosti (velikosti) • Opazovano točko izberemo kot značilno točko slike, če je večja ali manjša od vseh 26 sosedov (elementov v okolici 3x3x3) Vir slik: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt

  26. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Primer detektiranih po detekciji ekstremov v DoGprostou ločljivosti: • Predstavljeni postopek na slikah najde veliko število značilnih točk, med katerimi so nekatere „nestabilne (neponovljive)“ zaradi: • nizkega kontrasta (občutljivost na šum), • lege na robovih slike (težko določiti kje na robu se nahajamo) • Zgoraj opisane točke je potrebno odstraniti Slika z 233x189 piksli Število detektiranih DoG ekstremov: 832 Vir slik: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt

  27. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Izločanje značilnih točk z nizkim kontrastom; postopek: • Aproksimiraj okolico značilne točke s kvadratno Taylor-jevo vrsto DoG prostora ločljivosti • Določi lokalni maksimum prilegane funkcije in s tem nov, natančnejši položaj značilne točke • Izloči značilno točko (oz. ), če je <0.03 Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt, www.cs.cmu.edu/~efros/courses/.../0319.SIFT.ppt

  28. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Izločanje značilnih točk z nizkim kontrastom; rezultat: 729 od 832 značilnih točk ostane Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt, www.cs.cmu.edu/~efros/courses/.../0319.SIFT.ppt

  29. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Izločanje značilnih točk na robnih slikovnih elementih slike; postopek: • Izračunaj matriko Hessovo matriko parcialnih odvodov okolice dane značilne točke • Zavrzi vse značilne točke, ki ustrezajo robnim slikovnim elementom in hkrati ne predstavljajo oglišč (ekvivalentno formulaciji Harissovega detektorja oglišč) slike r = 10 za SIFT Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt,

  30. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Izločanje značilnih točk na robnih slikovnih elementih slike; utemeljitev: • Predpostavimo pravokotno področje slike (u,v), ki ga prestavimo za (x,y). Uteženo vsoto razlik kvadratov med premaknjenim in originalnim področjem lahko zapišemo kot: • Zapišimo Taylerjovo vrsto: • in dobimo: • Strukturni tenzor: Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt,

  31. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Oglišče v sliki je karakterizirano z velikimi vrednostmi S v vseh smereh vektorja [x, y] • Analiza lastnih vrednosti A pokaže: • slikovni element (x, y) ni zanimiv • zavzame veliko pozitivno vrednost – rob • zavzameta veliko pozitivno vrednost – oglišče • Pri SIFT-ih ne iščemo izključno oglišč ampak (računamo H) zahtevamo, da je ukrivljenost vzdolž roba veliko manjša kot ukrivljenosti prečno na potek roba v dani točki Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt,

  32. Šivanje slik • Lokalni deskriptorji - SIFT • Detekcija značilnih točk slike • Izločanje značilnih točk na robnih slikovnih elementih slike; rezultat: 536 od 729 značilnih točk ostane Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt,

  33. Šivanje slik • Lokalni deskriptorji - SIFT • Določitev orientacije značilnih točk • Ker želimo, da so deskriptorjiinvariantni na rotacije objektov na sliki, za vsako značilno točko • določimo orientacijo lokalnih gradientov in • normiramo podatke v skladu z določeno orientacijo Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt,

  34. Šivanje slik • Lokalni deskriptorji - SIFT • Določitev orientacije značilnih točk • Postopek: • Za glajeno sliko , kjer ustreza ločljivosti dane značilne točke, se izračuna smer in amplituda gradienta • Na podlagi smeri gradientov v okolici značilne točke se določi histogram • Značilni točki se pripiše orientacija, ki ustreza maksimumu glajenega histograma Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt,

  35. Šivanje slik • Lokalni deskriptorji - SIFT • Določitev deskriptorja • Za vsako značilno točko poznamo njen položaj, ločljivost in orientacijo • Določeni podatki zagotavljajo invariantnost na translacije, velikost in rotacije objektov na slikah • V zadnjem koraku želimo določiti deskriptor, ki zagotavlja še invariantnost na: • Svetlobne razmere in • 3D perspektivo na objekte slike Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt,

  36. Šivanje slik • Lokalni deskriptorji - SIFT • Določitev deskriptorja: • Okolico značilne točke velikosti 16x16 slikovnih elementov razdelimo v 4 pod-področja velikosti 4x4 slikovne elemente • Za vsako pod-področje določimo histogram orientacij gradienta z 8 kvantizacijskimi nivoji • Orientacije normiramo glede na orientacijo značilne točke. • Tako dosežemo invariantnost glede na rotacijo slike • Deskriptor sestavimo iz 128 relativnih frekvenc vseh 16 histogramov (8 kvantizacijskih nivojev x 4x4 pod-področij) Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt,

  37. Šivanje slik • Lokalni deskriptorji - SIFT • Določitev deskriptorja • Deskriptor normiramo na dolžino ena, kar izloči vpliv kontrasta na vrednosti deskriptorja • Pomembno: Orientacija gradienta je manj občutljiva na spremembe v svetlobnih razmerah kot amplituda gradienta Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt,

  38. Šivanje slik • Lokalni deskriptorji - SIFT • Iskanje ujemajočih parov • Za iskanje ujemajočih parov se pogosto uporablja postopek najbližjega soseda z Evklidovo razdaljo (Evklidova razdalja služi kot mera različnosti – večja kot je manj sta si deskriptorja podobna) • SIFT deskriptor is slike A se ujema z deskriptorjem iz slike B, če je naslednje razmerje manjše od določenega praga: Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt,

  39. Šivanje slik • Zahteva samodejne algoritme za: • Iskanje ujemanja objektov na parih slik, npr. • Z lokalnimi deskriptorji • SIFT (angl. ScaleInvariantFeatureTransform) • SURF (angl. Speeded Up RobustFeature) • Izračun transformacijske matrike • RANSAC

  40. Šivanje slik • Izračun transformacijske matrike • S pomočjo SIFT algoritma na paru slik določimo ujemajoče značilne točke • Rezultat predstavlja seznam ujemajočih parov značilnih točk, ki služi kot vhod v RANSAC • Z algoritmom RANSAC nato določimo parametre projektivne transformacije (homografije): Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt,

  41. Šivanje slik • Povzetek • Na vhodnih slikah, ki ju želimo združiti, izvedemo detekcijo in izračun SIFT deskriptorjev ter določitev ujemajočih parov • S pomočjo RANSAC-a določimo transformacijsko matriko in preslikamo drugo sliko v ravnino prve • Sliki združimo in popravimo barve

  42. Šivanje slik • Opomba • Pri šivanju slik, se namesto deskriptorjev SIFT pogosto uporabljajo lokalni deskriptorji SURF (angl. Speeded Up RobustFeature) • Deskriptorji SURF se odlikujejo s podobnimi lastnostmi kot deskriptorji SIFT, a je njihov izračun bistveno hitrejši Viri: http://rtcmagazine.com/articles/view/102184, http://scien.stanford.edu/pages/labsite/2008/psych221/projects/08/DavidChen/index.html

  43. Detekcija objektov • S postopki detekcije objektov želimo poiskati vse objekte določene vrste na sliki • Primeri: Poišči vse steklenice Poišči vse obraze Poišči vse avtomobile Vir slik: http://weblogs.baltimoresun.com/news/technology/2010/05/crowdsourcing_new_name.html/, http://www.avto-prodaja.si/, http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

  44. Detekcija objektov • Postopek (splošno): • Zgradi/nauči model objekta, ki ga želimo poiskati • Iz slike, na kateri želiš detektirati želene objekte, generiraj množico kandidatov objekta • Vsakega kandidata ovrednoti in razvrsti bodisi v razred iskanih objektov bodisi v razred drugih objektov Vir: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

  45. Detekcija objektov • Popularno rešitev problema detekcije objektov predstavljajo postopki, ki temeljijo na razvrščanju pod-oken slike (npr. Viola-Jones) • Osnovna ideja (primer detekcije obrazov): • Pregledamo celotno sliko pri začetni velikosti pod-okna

  46. Detekcija objektov • Popularno rešitev problema detekcije objektov predstavljajo postopki, ki temeljijo na razvrščanju pod-oken slike (npr. Viola-Jones) • Osnovna ideja (primer detekcije obrazov): • Pregledamo celotno sliko pri začetni velikosti pod-okna Dvo-razredni razvrščevalnik Obraz/drugo

  47. Detekcija objektov • Popularno rešitev problema detekcije objektov predstavljajo postopki, ki temeljijo na razvrščanju pod-oken slike (npr. Viola-Jones) • Osnovna ideja (primer detekcije obrazov): • Pregledamo celotno sliko pri začetni velikosti pod-okna Dvo-razredni razvrščevalnik Obraz/drugo

  48. Detekcija objektov • Popularno rešitev problema detekcije objektov predstavljajo postopki, ki temeljijo na razvrščanju pod-oken slike (npr. Viola-Jones) • Osnovna ideja (primer detekcije obrazov): • Pregledamo celotno sliko pri začetni velikosti pod-okna Dvo-razredni razvrščevalnik Obraz/drugo

  49. Detekcija objektov • Popularno rešitev problema detekcije objektov predstavljajo postopki, ki temeljijo na razvrščanju pod-oken slike (npr. Viola-Jones) • Osnovna ideja (primer detekcije obrazov): • Pregledamo celotno sliko pri začetni velikosti pod-okna Dvo-razredni razvrščevalnik Obraz/drugo

  50. Detekcija objektov • Popularno rešitev problema detekcije objektov predstavljajo postopki, ki temeljijo na razvrščanju pod-oken slike (npr. Viola-Jones) • Osnovna ideja (primer detekcije obrazov): • Ko pregledamo celotno sliko, povečamo pod-okno Dvo-razredni razvrščevalnik Obraz/drugo

More Related