Hidden Markov Model II

1. Hidden Markov Model II Toto Haryanto

2. Termonologidalam HMM • Model dalam HMM ditulissebagai • Pernytaan P(O| λ) bermaknapeluangsuatuobservasi O jikadiberikan model HMM λ • Pernytaan P(O| S1,S2) bermaknapeluangsuatuobservasi O jikadiberikan model HMM λ dengan State S1,S1 Dengan λ : Model A : MatriksTransisi B : MatriksEmisi Π : MatriksPrority

3. Jenis Hidden Markov Model (HMM) • Ergodic HMM • Left-Right (L-R) HMM PadaErgodic HMM, suatu state diperkenankan Untukdapatmengunjuni state manapun. VisualisasiErgodic HMM dapaydilihatpadaGambardisamping P B H Pada L-R HMM transisiterjadike state diriinyaatau state lain yang unik H P B

4. Permasalahandalam HMM • Diberikan model λ = (A, B, π), bagaimanamenghitung P(O | λ), yaitukemungkinanditemuinyarangkaianpengamatanO = O1, O2, ..., OT. • Diberikan model λ = (A, B, π), bagaimanamemilihrangkaian state I = i1, i2,...,iTsehingga P(O, I | λ),kemungkinangabunganrangkaianpengamatan O = O1, O2, ..., OTdanrangkaian state jikadiberikan model, maksimal. • Bagaimanamengubah parameter HMM, λ = (A, B, π) sehingga P(O | λ) maksimal.

5. Solusi ? • Masalah (1) dikenaldenganistilahEvaluating • Diselesaikandenganprosedur yang dikenaldenganforward-backward procedure (Rabiner 1989) • Masalah (2) dikenaldenganistilahDecoding • DiselesaikandenganmenggunakanalgoritmaViterbi • Masalah (3) dikenaldenganIstilahLearning • Diselesaikandenganmenggunakanalgoritma Baum-Welch

6. Teladan 1 Masalah 1 • Andadalamruangterkunci. Berapapeluangdaricuacapadaharijikadiberikan status {P,B,P}, kemudiandiketahuibahwaselamatigaharitersebut office boy masukkedalamruangantidakpernahmembawapayung. Dik : Peluangbaik, q1,q2,q3 pertama kali terjadimasing-masingadalah 1/3

7. PenyelesaianMasalah 1 • Pembuatan Model HMM • P (P BP | x1=TP,x2 = TP, x3=TP) P(P) * P(TP|P) * P(B| P) * P(TP| B) * P( P| B) * P (TP|P) = 1/3 * 0.9 * 0.15 * 0.7 * 0.2 * 0.9 = 0.0057 • Padakasusdiatas state-nyasudahditentukan. BagaimanaJikakasusnya P (TP,TP,TP| λ ) ? • Artinya : Kita harusmenghitungsemuastateobervasi (TP) untuksemuakemungkinan hidden state

8. Teladan 2 Masalah 1 MatriksTransisi (A) MatriksTransisi (B) DimesiMatrikTransisi (A) = MxM DimensiMatriksEmisi (B) = M xN DimensiMatriks Prior (Π) = M x 1 Matriks Priority (Π)

9. Teladan 2 (Masalah 1) • Berdasarkan Model HMM λ, tentukanpeluanguntukobservasisebagaiberikut: a) P (II | S1,S2) b) P (OO | S2,S2) Jawab: a) Peluangbahwaobservasi II pada state S1 kemudian S2 adalahmengalikankomponensebagaiberikut: P(S1)*P(I|S1)*P(S2|S1)*P(I|S2) 0.3 * 0.2 * 0.5 * 0.9 = 0.0027 b) ???

10. Diagram Trelis • Digaramtrelisdapatdigunakanuntukmemvisualisasikankemungkinandalamperhitungan HMM. http://www.igi.tugraz.at/lehre/CI

11. Diagram Trelis • Diagram TrelisuntukKasusTeladan 1 Masalah1 State observasi : x1=TP x2=TP x3=TP n =1 n =2 n =3 Waktu

12. TeladanMasalah 2 • Permasalahan 2 adalahkitamencari state yang optimal darisuatuobservasiterhadap model HMM yang ada. • DiselesaikandenganmanggunakanalgoritmaViterbi • BeberapalangkahdalamViterbi • Inisialisasi • Rekursif • Terminasi • LacakBalik

13. AlgoritmaViterbi (TeladanMasalah 2) Inisialisasi Rekursif Terminasi Terminasi

14. Teladan 2 Maslah 2 • JikaAndaberadadidalamruangtertutupdanAndatidakmengetahuibagaimanacuacadiluar. Sementaraobservasimenunjukkanbahwaofficeboyselamatigahariternyata ({TP,DP,DP}). Tentukanpeluang yang paling mungkindaricuacadiluarpadakondisitersebut ? Selesaikandenganalgoritmaviterbi! • Ket: • DP : denganpayung

15. Langkah 1 (Inisialisasi) n =1 δ1(P) = π(P)* B(TP|P) = 1/3 * 0.9 = 0.3 Ψ1 (P)= 0 δ1(H) = π(H)* B(TP|H) = 1/3 * 0.2 = 0.0067 Ψ1 (P)= 0 δ1(B) = π(B)* B(TP|B) = 1/3 * 0.7 = 0.23 Ψ1 (P)= 0

16. Langkah 2 (Rekursif) n =2 (Menghitungkemungkinanstateberikutnyadari 3 statesebelumnya) δ2(P) = max{δ1(P)* A(P|P) , δ1(H)* A(P|H), δ1(B)*A(P|B)}* B(DP|P) = max {0.3* 0.8 , 0.0067 * 0.2 , 0.233 * 0.2} * 0.1 = 0.024 Ψ2 (P) = P δ2(H) = max{δ1(P)* A(H|P) , δ1(H)* A(H|H), δ1(B)*A(H|B)}* B(DP|H) = max {0.3* 0.05 , 0.067 * 0.6, 0.233 * 0.3} * 0.8 = 0.056 Ψ2 (H) = B δ2(B) = max{δ1(P)* A(B|P) , δ1(H)* A(B|H), δ1(B)*A(B|B)}* B(DP|B) = max {0.3* 0.15 , 0.067 * 0.2, 0.233 * 0.5} * 0.3 = 0.035 Ψ2 (B) = B

17. Diagram Trelis n = 2 Lanjutkankerekursifberikutnyauntuk n = 3

18. Langkah 2 (Rekursif) n =3 (Menghitungkemungkinanstateberikutnyadari 3 statesebelumnya) δ3(P) = max{δ1(P)* A(P|P) , δ1(H)* A(P|H), δ1(B)*A(P|B)}* B(DP|P) = max {0.024* 0.8 , 0.056 * 0.2 , 0.035 * 0.2} * 0.1 = 0.0019 Ψ3 (P) = P δ3(H) = max{δ1(P)* A(H|P) , δ1(H)* A(H|H), δ1(B)*A(H|B)}* B(DP|H) = max {0.024* 0.05 , 0.056* 0.6, 0.035 * 0.3} * 0.8 = 0.0269 Ψ3 (H) =H δ3(B) = max{δ1(P)* A(B|P) , δ1(H)* A(B|H), δ1(B)*A(B|B)}* B(DP|B) = max {0.024* 0.15 , 0.056 * 0.2, 0.035 * 0.5} * 0.3 = 0.0052 Ψ3 (B) = B

19. Diagram Trelis n = 3

20. Langkah 3 (Terminasi) • Secara global path telahselesaisampaidengan n=3 (karnaadatigasekuensobservasiyaitu {DP.DP,DP} • Lakukanpenentuanargumenmaksimum P*(O| λ) = max(δ3(i)) =δ3(H)=0.0269 q3* = argmax(δ3(i)) = H • Artinyabahwa state terakhirdariobservasiadapada state Hujan

21. Diagram TrelisTerminasi

22. Langkah 4 (LacakBalik) • SekuensterbaikdapatdilihatdarivektorΨ • n = N - 1= 2 q2* = Ψ3 (q3* ) = Ψ3 (H) = H {Lihatprosesrekursifpada n = 3 untukΨ3 (H) } • n = N - 1= 1 q1* = Ψ2 (q2* ) = Ψ2 (H) = B {Lihatprosesrekursifpada n = 2 untukΨ2 (H) }

23. HasilAkhir • Berdasarkanhasil q1,q1 dan q3 diperolehbahwa state yang mungkindenganpeluangterbesaruntukobservasi {DP,DP,DP} adalah {B,H,H}

24. Masalah 3 • Training • ContohAlgoritma Baum-Welch Link File Excel

25. Selesai Bersemangatlahterhadapsegalasesuatu yang bermanfaatbagimu, mintalahpertolongankepadaRabb-mu yang janganlahkamumerasabersedih TerimaKasih