1 / 32

Kontextbasierte Web-Navigationsunterstützung mit Markov-Modellen

Verteidigung der Diplomarbeit. Kontextbasierte Web-Navigationsunterstützung mit Markov-Modellen. Sebastian Stober 21. Dezember 2005. Gliederung. Einführung Motivation Kontext Markov-Modelle Umsetzung Ergebnisse Zusammenfassung Demonstration. Motivation.

annora
Download Presentation

Kontextbasierte Web-Navigationsunterstützung mit Markov-Modellen

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Verteidigung der Diplomarbeit Kontextbasierte Web-Navigationsunterstützung mit Markov-Modellen Sebastian Stober 21. Dezember 2005

  2. Gliederung • Einführung • Motivation • Kontext • Markov-Modelle • Umsetzung • Ergebnisse • Zusammenfassung • Demonstration sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  3. Motivation • Suchmaschinen & Verzeichnisse bieten einem Nutzer einen guten Einstiegspunkt bei der Suche nach Informationen • Beim Browsen im weiteren Verlauf der Suche ist der Nutzer aber immer noch auf sich allein gestellt • Idee: Durch Vorhersage, welchem Link ein Nutzer wahrscheinlich folgen wird, kann der Nutzer bei der Navigation im Web unterstützt werden. sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  4. Kontext Kontext: • Browser • Browserfenster • Inhalt des Dokuments • Titel des Dokuments • Absatz • Wortfenster • Ankertexte • Ankertext TF/iDF- Dokumentvektor -Optionen -Repräsentation sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  5. Kontextt-n+1 Kontextt-1 … History Kontextt Kandidaten aktueller Kontext History der letzten 2 Kontexte History der letzten n Kontexte sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  6. Markov-Modelle • Beschreiben stochastische Prozesse mit der Markov-Eigenschaft: • Die Wahrscheinlichkeitsverteilung des Folgezustands hängt zu jedem Zeitpunkt t nur von den n letzten Zuständen ab: P(st+1|st, … ,st-n+1,st-n, … ,s0)=P(st+1|st, … ,st-n+1) • Problem bei Modellen höherer Ordnung: • exponentielle Speicherkomplexität O(k(n+1)) für die Übergangswahrscheinlichkeiten (k – Anzahl der Zustände, n – Ordnung des Modells) • Sparsity-Problem bei Betrachtung des gesamten World Wide Web sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  7. Schlußfolgerungen • Betrachtung der History der letzten n Kontexte  Markov Modell n-ter Ordnung • Reduktion der Modellgröße notwendig • Eineindeutige Abbildung von Kontexten auf Zustände des Modells ist nicht praktikabel sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  8. Gliederung • Einführung • Umsetzung • Systemüberblick • Lernen des Modells • Vorhersage • Ergebnisse • Zusammenfassung • Demonstration sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  9. Systemüberblick sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  10. Systemüberblick sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  11. Recommender-Modul sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  12. C3 C1 K1 K5 K2 C2 K3 K4 Lernen des Modells: Clustern • Zusammenfassen ähnlicher Kontexte (Clustern) K1  K3  K5 K1  K2  K4  K5 C1  C2  C3 C1  C1  C2  C3 • Reduktion der Größe des Zustandsraumes • Sparsity-Problem sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  13. Recommender-Modul sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  14. Induktion des Modells 1. Ordnung Übergangshäufigkeit A C 3 3 3 3 F B S künstlicher Start- und Endzustand Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  15. Induktion des Modells 1. Ordnung A C 5 3 5 3 F B S 2 2 D Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  16. Induktion des Modells 1. Ordnung A C 5 4 5 4 F B 1 S 1 E 2 2 D Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  17. Induktion des Modells 1. Ordnung A C 5 4 5 4 F B 2 S 2 E 3 3 D Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  18. Modell 1. Ordnung Übergangswahrscheinlichkeit P(C|B) A C 6 (1) 6 (1) 6 (0,38) 6 (0,38) F B 5 (1) S 5 (0,31) E 4 (0,40) 6 (1) 5 (1) 5 (0,31) 10 (0,62) G D 6 (0,60) H Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  19. ähnlich! Induktion des Modells 2. Ordnung Überprüfung der induzierten Übergangswahrscheinlichkeiten aller Eingangspfade eines Zustands  B muß geklont werden! A C 6 (1) 6 (1) 6 (0,38) 6 (0,38) F B 5 (1) S 5 (0,31) E 4 (0,40) 6 (1) 5 (1) 5 (0,31) 10 (0,62) G D 6 (0,60) H Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  20. 5 (0,45) 6 (0,55) 1 (0,2) 4 (0,8) Modell 2. Ordnung Einfügen des Klons B‘ von B und Anpassen der eingehenden und ausgehenden Kanten A C 6 (1) 6 (1) 6 (0,38) B F S 5 (0,31) E 4 (0,40) 5 (1) 6 (1) 5 (0,31) G 5 (1) B’ D 6 (0,60) H Beispiel aus: José Borges and Mark Levene. Generating Dynamic Higher-Order Markov Models in Web Usage Mining, PKDD, 2005. sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  21. Recommender-Modul sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  22. Recommendation • Bei jeder Änderung der History: • Abbilden der History auf das Modell • Finden ähnlicher Pfade • Berechnung von Pfadgewichten(Minimum der Zustandsähnlichkeiten) • Bestimmung der Wahrscheinlichkeitsverteilung für den Folgezustand bei gegebener History • Für jeden Kandidaten: • Abbilden auf das Modell (Finden ähnlicher Zustände) • Vorschlagen, wenn die Wahrscheinlichkeit für einen der ähnlichen Zustände mindestens θist sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  23. Recommendation-Beispiel • Abbilden der History (Kt-1,Kt) auf das Modell (mit Schwellwert λ=0,7): • Finde ähnliche Zustände für Kt-1 • A,C,C‘ • Finde Nachfolger von A, C und C‘, die Kt ähneln • B,E • Bestimme Pfadgewichte • wA,B = min(0,7 , 0,9) = 0,7 • wC,B = min(0,9 , 0,9) = 0,9 • wC‘,E = min(0,9 , 0,8) = 0,8 • wB = 0,9 • wE = 0,8 0,7 A 0,9 5 (0,5) 6 B D 5 (0,5) 4 C 0,9 F 2 (0,4) C’ 1 0,9 E H 3 (0,6) 4 G 0,8 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  24. Recommendation-Beispiel • Berechnung der Wahrscheinlichkeitsverteilung für den Folgezustand • Gewichtete Überlagerung der Wahrscheinlichkeitsverteilungen, die durch die verschiedenen Pfade induziert werden: • Behandlung eines Kandidaten Y: • Finde ähnliche Zustände für Y (mit Schwellwert λ=0,7) • D • Wenn P(D|Kt-1,Kt) ≥θwird Y vorgeschlagen sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  25. Gliederung • Konzept • Umsetzung • Ergebnisse • Datensammlung • Modellgröße • Vorschlagquote • Zusammenfassung • Demonstration sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  26. Datensammlung • Nutzung des Frameworks • 18. Oktober bis 6. Dezember 2005 • 8 Nutzer • 632 Webseiten (106 Hosts) • 216 Klicks (24 Hosts) • 75% der Klick-Sequenzen haben höchstens die Länge 3 • 15% der Klick-Sequenzen haben mindestens die Länge 8 • Datensammlung zu klein für eine Evaluierung der Vorhersagegüte • Modelle mit Ordnung größer als 3 nicht sinnvoll sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  27. Modellgröße sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  28. Vorschlagquote Modell 3. Ordnung mit μ=0,5 und γ=0,0 sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  29. Zusammenfassung • Verwendung eines Markov Modells höherer Ordnung zur Vorhersage, ob Link ein von einem Benutzer in einem bestimmten Kontext weiterverfolgt wird oder nicht • Reduktion der Modellgröße durch Clustern von Kontexten • Erweiterung eines existierenden Verfahrens zur Induktion von Modellen mit möglichst geringer Größe • Parametrisiertes Verfahren zum Vorschlagen von Kandidaten • Evaluierung mangels genügend großer Datensammlung nicht möglich • Implementierung eines Frameworks zum clientseitigen Loggen von Benutzeraktionen beim Browsen (verwendbar für weitere Arbeiten) • Aufbau einer kleinen Datensammlung sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  30. Ausblick • Aufbau einer größeren Datensammlung • zur Evaluierung • für andere Arbeiten verwendbar • Benutzerstudie mit Feedback • Erweiterung des Frameworks durch weitere Module • Recommendation mit globalem Wissen über die Daten • Graphentheoretisch Analyse des gelernten Modells sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  31. Demonstration sebastian stober - kontextbasierte web-navigationsunterstützung mit markov-modellen

  32. Vielen Dank für Ihre Aufmerksamkeit

More Related