1 / 40

SVM cz.2

SVM cz.2. Plan wykładu. Przypomnienie i demonstracja Klasyfikacja wieloklasowa Zastosowania w rozpoznawaniu twarzy. SVM jako klasyfikator. Cel: możliwość przyporządkowania elementu do jednej z klas Dwa etapy: nauka klasyfikacja próbek. SVM – charakterystyka.

milo
Download Presentation

SVM cz.2

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. SVM cz.2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  2. Plan wykładu • Przypomnienie i demonstracja • Klasyfikacja wieloklasowa • Zastosowania w rozpoznawaniu twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  3. SVM jako klasyfikator • Cel: możliwość przyporządkowania elementu do jednej z klas • Dwa etapy: • nauka • klasyfikacja próbek Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  4. SVM – charakterystyka • Rozwiązywanie problemów separowalnych liniowo • Zwiększenie liczby wymiarów danych wejściowych • Znajdowanie optymalnej hiperpłaszczyzny • maksymalizacja marginesu rozdzielającego próbki Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  5. Dodanie wymiarów • Funkcja: • Konieczna zamiana x(x) • Wykorzystywany iloczyn skalarny • Iloczyn skalarny = jądro przekształcenia • Zbędna znajomość funkcji  Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  6. Jądra przekształceń • Liniowe • Wielomianowe • RBF (radial basis functions) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  7. Hiperpłaszczyzna • Optymalna hiperpłaszczyzna: w0 • x + b0 = 0 • dla przykładu 2D jest to prosta • Optymalna szerokość marginesu: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  8. Wektory wspierające • Margines: • Optymalna hiperpłaszczyzna: • yi – identyfikator klasy • i – mnożniki Lagrange’a • Problem: znaleźć i Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  9. Rezultat optymalizacji • Współczynniki : • niezerowe dla wektorów wspierających • równe zeru dla reszty wektorów • Próbka treningowa po nauce: • wektory wspierające • współczynniki  dla każdego wektora • liczba wektorów zdecydowanie mniejsza Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  10. 1 ... n Nauka Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  11. Klasyfikacja SVM • Obliczenie y dla dowolnego wektora: xr, xs – wektory wspierające z obydwu klas • Wybór klasy i moc przynależności Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  12. Miękki margines • Nauka z błędem: • Minimalizacja liczby błędów • Modyfikacja optymalizowanej funkcji • Parametr C: 1/C – tolerancja błędu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  13. Bez miękkiego marginesu • Maksymalizacja funkcji: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  14. Z miękkim marginesem • Maksymalizacja funkcji: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  15. Prezentacja... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  16. Klasyfikacja wieloklasowa • Przedstawienie problemu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  17. Klasyfikacja wieloklasowa • Punkt wyjścia – klasyfikacja dwuklasowa • Próbka treningowa – N klas • Możliwe podejścia: • wykorzystanie klasy bazowej • porównywanie 1 – N • porównywanie 1 – 1 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  18. Metoda klasy bazowej • Jedna z klas traktowana jako klasa bazowa • Klasyfikacja każdej z klas z wybraną klasą bazową • Wygrywa najmocniejsza odpowiedź • Klasyfikacja wieloklasowa: • N – 1 klasyfikacji dwuklasowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  19. Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  20. Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  21. Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  22. Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  23. Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  24. Cechy metody • Zalety: • duża szybkość • skuteczna dla łatwo separowalnych klas niebazowych • Wady: • słabe możliwości separowania klas niebazowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  25. Porównywanie 1 – N • Każda klasa porównywana z resztą • Decyduje najsilniejsza odpowiedź • Porównanie z metodą klasy bazowej: • Bardziej uniwersalne podejście • Porównywalna szybkość Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  26. Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  27. Porównywanie 1 – 1 • Każda klasa porównywana z każdą • Największa dokładność • N(N – 1)/2 klasyfikacji dwuklasowych • Niektóre porównania są nadmiarowe Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  28. Zastosowania SVM • Detekcja i weryfikacja • Porównywanie wektorów cech • Łączenie wyników • Inne zastosowania związane z klasyfikacją wektorów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  29. Detekcja twarzy • Wykrywanie elips • uogólniona Transformata Hougha • zbiór kandydatów na twarze • Wstępna normalizacja kandydatów • Weryfikacja • porównywanie obrazu ze średnim • zastosowanie klasyfikatora (SVM) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  30. Porównywanie wektorów • Cel: określenie podobieństwa wektorów cech • Odległość dwóch wektorów: • Euklidesowa • Mahalanobisa • SVM określa podobieństwo: • dwóch wektorów • wektora będącego różnicą porównywanych wektorów K11 K21 K12 K22 ... ... K1n K2n Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  31. K11 K12 ... Ta sama klasa K1n SVM Różne klasy K21 K22 ... K2n

  32. K11 - K21 Ta sama klasa K12 - K22 SVM Różne klasy ... K1n - K2n

  33. Łączenie metod • Wiele metod ekstrakcji cech K1 K1 S1 K2 K2 S2 S ... ... ... Kn Kn Sn Dwa obrazy Wektory cech Podobieństwa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  34. SVM i łączenie metod • Klasyfikacja wektora podobieństw • jądro liniowe • jądro wielomianowe • długi czas wykonania • Wykorzystanie treningu z jądrem liniowym • wagi dla poszczególnych elementów • obliczanie średniej ważonej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  35. Inne zastosowania SVM • Detekcja kąta obrotu głowy • Wyznaczanie kierunku padania światła • Określanie pewności rozpoznania • klasyfikacja wektora posortowanych podobieństw do elementów bazy • Ocena jakości obrazu twarzy • zastosowanie przy sekwencjach video Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  36. Wyniki • Znaczna poprawa dla metody opartej o Gabor Wavelets • Brak zadowalających rezultatów dla Eigenfaces • prawdopodobna przyczyna: niereprezentatywna próbka Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  37. Ograniczenia SVM • Stała, stosunkowo mała liczba klas • Zbiór treningowy: • potrzebna duża ilość danych • próbki muszą być reprezentatywne! • Ciężko dobrać optymalne parametry Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  38. SVM i sieci neuronowe • SVM: • bardziej przejrzysty mechanizm • większa kontrola niż w przypadku ANN • implementuje podstawowe rodzaje ANN • przydatny do przetwarzania obrazów • ANN: • więcej zastosowań • możliwa realizacja sprzętowa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  39. Podsumowanie • Klasyfikacja wieloklasowa: • kilka możliwości • różna złożoność czasowa • SVM – bardzo uniwersalny mechanizm • Szerokie zastosowanie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

  40. Dziękuję za uwagę! Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

More Related