SVM cz.2

1. SVM cz.2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

2. Plan wykładu • Przypomnienie i demonstracja • Klasyfikacja wieloklasowa • Zastosowania w rozpoznawaniu twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

3. SVM jako klasyfikator • Cel: możliwość przyporządkowania elementu do jednej z klas • Dwa etapy: • nauka • klasyfikacja próbek Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

4. SVM – charakterystyka • Rozwiązywanie problemów separowalnych liniowo • Zwiększenie liczby wymiarów danych wejściowych • Znajdowanie optymalnej hiperpłaszczyzny • maksymalizacja marginesu rozdzielającego próbki Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

5. Dodanie wymiarów • Funkcja: • Konieczna zamiana x(x) • Wykorzystywany iloczyn skalarny • Iloczyn skalarny = jądro przekształcenia • Zbędna znajomość funkcji  Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

6. Jądra przekształceń • Liniowe • Wielomianowe • RBF (radial basis functions) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

7. Hiperpłaszczyzna • Optymalna hiperpłaszczyzna: w0 • x + b0 = 0 • dla przykładu 2D jest to prosta • Optymalna szerokość marginesu: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

8. Wektory wspierające • Margines: • Optymalna hiperpłaszczyzna: • yi – identyfikator klasy • i – mnożniki Lagrange’a • Problem: znaleźć i Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

9. Rezultat optymalizacji • Współczynniki : • niezerowe dla wektorów wspierających • równe zeru dla reszty wektorów • Próbka treningowa po nauce: • wektory wspierające • współczynniki  dla każdego wektora • liczba wektorów zdecydowanie mniejsza Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

10. 1 ... n Nauka Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

11. Klasyfikacja SVM • Obliczenie y dla dowolnego wektora: xr, xs – wektory wspierające z obydwu klas • Wybór klasy i moc przynależności Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

12. Miękki margines • Nauka z błędem: • Minimalizacja liczby błędów • Modyfikacja optymalizowanej funkcji • Parametr C: 1/C – tolerancja błędu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

13. Bez miękkiego marginesu • Maksymalizacja funkcji: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

14. Z miękkim marginesem • Maksymalizacja funkcji: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

15. Prezentacja... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

16. Klasyfikacja wieloklasowa • Przedstawienie problemu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

17. Klasyfikacja wieloklasowa • Punkt wyjścia – klasyfikacja dwuklasowa • Próbka treningowa – N klas • Możliwe podejścia: • wykorzystanie klasy bazowej • porównywanie 1 – N • porównywanie 1 – 1 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

18. Metoda klasy bazowej • Jedna z klas traktowana jako klasa bazowa • Klasyfikacja każdej z klas z wybraną klasą bazową • Wygrywa najmocniejsza odpowiedź • Klasyfikacja wieloklasowa: • N – 1 klasyfikacji dwuklasowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

19. Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

20. Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

21. Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

22. Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

23. Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

24. Cechy metody • Zalety: • duża szybkość • skuteczna dla łatwo separowalnych klas niebazowych • Wady: • słabe możliwości separowania klas niebazowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

25. Porównywanie 1 – N • Każda klasa porównywana z resztą • Decyduje najsilniejsza odpowiedź • Porównanie z metodą klasy bazowej: • Bardziej uniwersalne podejście • Porównywalna szybkość Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

26. Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

27. Porównywanie 1 – 1 • Każda klasa porównywana z każdą • Największa dokładność • N(N – 1)/2 klasyfikacji dwuklasowych • Niektóre porównania są nadmiarowe Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

28. Zastosowania SVM • Detekcja i weryfikacja • Porównywanie wektorów cech • Łączenie wyników • Inne zastosowania związane z klasyfikacją wektorów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

29. Detekcja twarzy • Wykrywanie elips • uogólniona Transformata Hougha • zbiór kandydatów na twarze • Wstępna normalizacja kandydatów • Weryfikacja • porównywanie obrazu ze średnim • zastosowanie klasyfikatora (SVM) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

30. Porównywanie wektorów • Cel: określenie podobieństwa wektorów cech • Odległość dwóch wektorów: • Euklidesowa • Mahalanobisa • SVM określa podobieństwo: • dwóch wektorów • wektora będącego różnicą porównywanych wektorów K11 K21 K12 K22 ... ... K1n K2n Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

31. K11 K12 ... Ta sama klasa K1n SVM Różne klasy K21 K22 ... K2n

32. K11 - K21 Ta sama klasa K12 - K22 SVM Różne klasy ... K1n - K2n

33. Łączenie metod • Wiele metod ekstrakcji cech K1 K1 S1 K2 K2 S2 S ... ... ... Kn Kn Sn Dwa obrazy Wektory cech Podobieństwa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

34. SVM i łączenie metod • Klasyfikacja wektora podobieństw • jądro liniowe • jądro wielomianowe • długi czas wykonania • Wykorzystanie treningu z jądrem liniowym • wagi dla poszczególnych elementów • obliczanie średniej ważonej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

35. Inne zastosowania SVM • Detekcja kąta obrotu głowy • Wyznaczanie kierunku padania światła • Określanie pewności rozpoznania • klasyfikacja wektora posortowanych podobieństw do elementów bazy • Ocena jakości obrazu twarzy • zastosowanie przy sekwencjach video Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

36. Wyniki • Znaczna poprawa dla metody opartej o Gabor Wavelets • Brak zadowalających rezultatów dla Eigenfaces • prawdopodobna przyczyna: niereprezentatywna próbka Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

37. Ograniczenia SVM • Stała, stosunkowo mała liczba klas • Zbiór treningowy: • potrzebna duża ilość danych • próbki muszą być reprezentatywne! • Ciężko dobrać optymalne parametry Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

38. SVM i sieci neuronowe • SVM: • bardziej przejrzysty mechanizm • większa kontrola niż w przypadku ANN • implementuje podstawowe rodzaje ANN • przydatny do przetwarzania obrazów • ANN: • więcej zastosowań • możliwa realizacja sprzętowa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

39. Podsumowanie • Klasyfikacja wieloklasowa: • kilka możliwości • różna złożoność czasowa • SVM – bardzo uniwersalny mechanizm • Szerokie zastosowanie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

40. Dziękuję za uwagę! Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006