Estimasi Prob. Density Function dengan EM

1. Estimasi Prob. Density Function dengan EM Sumber: Forsyth & Ponce Chap. 7 Standford Vision & Modeling

2. Probability Density Estimation • Parametric Representations • Non-Parametric Representations • Mixture Models

3. Metode estimasi Non-parametric • Tanpa asumsi apapun tentang distribusi • Estimasi sepenuhnya bergantung ada DATA • cara mudah menggunakan: Histogram

4. Histograms Diskritisasi, lantas ubah dalam bentuk batang:

5. Histograms • Butuh komputasi banyak, namun sangat umum digunakan • Dapat diterapkan pada sembarang bentuk densitas (arbitrary density)

6. Histograms • Permasalahan: • Higher dimensional Spaces: • - jumlah batang (bins) yg. Exponential • - jumlah training data yg exponential • - Curse of Dimensionality • size batang ? Terlalu sedikit: >> kasar • Terlalu banyak: >> terlalu halus

7. Pendekatan secara prinsip: • x diambil dari ‘unknown’ p(x) • probabiliti bahwa x ada dalam region R adalah:

8. Pendekatan secara prinsip: • x diambil dari ‘unknown’ p(x) • probabiliti bahwa x ada dalam region R adalah:

9. Pendekatan secara prinsip: • x diambil dari ‘unknown’ p(x) • probabiliti bahwa x ada dalam region R adalah:

10. Pendekatan secara prinsip: Dengan Fix K Tentukan V Dengan Fix V Tentukan K K-nearest neighbor Metoda Kernel-Based

11. Metoda Kernel-Based: Parzen Window:

12. Metoda Kernel-Based: Parzen Window:

13. Metoda Kernel-Based: Parzen Window:

14. Metoda Kernel-Based: Gaussian Window:

15. Metoda Kernel-Based:

16. K-nearest-neighbor: Kembankan V sampai dia mencapai K points.

17. K-nearest-neighbor:

18. K-nearest-neighbor: Klasifikasi secara Bayesian :

19. K-nearest-neighbor: Klasifikasi secara Bayesian : “aturan klasifikasi k-nearest-neighbour ”

20. Probability Density Estimation • Parametric Representations • Non-Parametric Representations • Mixture Models (Model Gabungan)

21. Mixture-Models (Model Gabungan): Gaussians: - Mudah - Low Memory - Cepat - Good Properties Non-Parametric: - Umum - Memory Intensive - Slow Mixture Models

22. Campuran fungsi Gaussian (mixture of Gaussians): p(x) x Jumlah dari Gaussians tunggal

23. Campuran fungsi Gaussian: p(x) x Jumlah dari Gaussians tunggal Keunggulan: Dapat mendekati bentuk densitas sembarang (Arbitrary Shape)

24. Campuran fungsi Gaussian: p(x) x Generative Model: z P(j) 1 3 2 p(x|j)

25. Campuran fungsi Gaussian: p(x) x

26. Campuran fungsi Gaussian: Maximum Likelihood:

27. Campuran fungsi Gaussian: Maximum Likelihood: E

28. Campuran fungsi Gaussian: Maximum Likelihood:

29. Campuran fungsi Gaussian:

30. Campuran fungsi Gaussian:

31. Campuran fungsi Gaussian:

32. Campuran fungsi Gaussian:

33. Campuran fungsi Gaussian: Maximum Likelihood: Tidak ada solusi pendek ! E

34. Campuran fungsi Gaussian: Maximum Likelihood: E Gradient Descent

35. Campuran fungsi Gaussian: Maximum Likelihood:

36. Campuran fungsi Gaussian: • Optimasi secara Gradient Descent: • Complex Gradient Function • (highly nonlinear coupled equations) • Optimasi sebuah Gaussian tergantung dari seluruh campuran lainnya.

37. Campuran fungsi Gaussian: -> Dengan strategi berbeda: p(x) Observed Data: x

38. Campuran fungsi Gaussian: Densitas yg dihasilkan p(x) Observed Data: x

39. Campuran fungsi Gaussian: Variabel Hidden y 1 2 p(x) Observed Data: x

40. Campuran fungsi Gaussian: Variabel Hidden y 1 2 p(x) Observed Data: x y Unobserved: 1 1 1111 12 2 2222 2

41. Contoh populer ttg. Chicken and Egg Problem: p(x) x Max.Likelihood Utk. Gaussian #1 Max.Likelihood Utk. Gaussian #2 Anggap kita tahu y 1 1 1111 12 2 2222 2

42. Chicken+Egg Problem: p(x) Anggap kita tahu x P(y=1|x) P(y=2|x) y 1 1 1111 12 2 2222 2

43. Chicken+Egg Problem: p(x) x ? Tapi yg ini kita tidak tau sama sekali ? y 1 1 1111 12 2 2222 2

44. Chicken+Egg Problem: p(x) x Coba pura2 tahu y 1 1 1111 12 2 2222 2

45. Clustering: x y Tebakan benar ? 1 1 1111 12 2 2222 2 K-mean clustering / Basic Isodata

46. Pengelompokan (Clustering): Procedure: Basic Isodata 1. Choose some initial values for the means Loop: 2. Classify the n samples by assigning them to the class of the closest mean. 3. Recompute the means as the average of the samples in their class. 4. If any mean changed value, go to Loop; otherwise, stop.

47. Isodata: Inisialisasi

48. Isodata: Menyatu (Convergence)

49. Isodata: Beberapa permasalahan

50. Ditebak Eggs / Terhitung Chicken p(x) x Max.Likelihood Utk. Gaussian #1 Max.Likelihood Utk. Gaussian #2 Disini kita berada y 1 1 1111 12 2 2222 2