1 / 25

PCFG の EM アルゴリズムとスムージング

PCFG の EM アルゴリズムとスムージング. 二宮　崇. 今日の講義の予定. P CFG (Probabilistic Context Free Grammar, 確率付 文脈自由文法 ) EM アルゴリズム スムージング 教科書 北研二 ( 著 ) 辻井潤一 ( 編 ) 言語と計算 4 確率的言語モデル 東大出版会 C. D. Manning & Hinrich Schütze “FOUNDATIONS OF STATISTICAL NATURAL LANGUAGE PROCESSING” MIT Press, 1999

vernon
Download Presentation

PCFG の EM アルゴリズムとスムージング

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. PCFGのEMアルゴリズムとスムージング 二宮　崇

  2. 今日の講義の予定 • PCFG (Probabilistic Context Free Grammar, 確率付文脈自由文法) • EMアルゴリズム • スムージング • 教科書 • 北研二(著) 辻井潤一(編) 言語と計算4 確率的言語モデル 東大出版会 • C. D. Manning & HinrichSchütze “FOUNDATIONS OF STATISTICAL NATURAL LANGUAGE PROCESSING” MIT Press, 1999 • D. Jurafsky, J. H. Martin, A. Kehler, K.V. Linden & N. Ward “Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition”Prentice Hall Series in Artificial Intelligence, 2000

  3. PCFGの最尤推定 • 次の二文を訓練データとして、パラメータ推定 • “John sees Mary with_a_telescope” • “Mary with_a_telescope runs”

  4. PCFGの最尤推定 S 構文木　t1,1 構文木　t1,2 S VP NP VP θ2 NP θ5 θ1 V NP θ5 VP John θ4 θ2 θ7 John V NP NP PP PP θ7 sees θ6 θ6 sees Mary Mary with_a_telescope with_a_telescope 構文木　t2,1 S ts,u: sは文ID uはsに対する構文木集合の中での各々の木ID NP VP θ3 θ4 V NP PP θ8 θ6 runs Mary with_a_telescope

  5. PCFGの最尤推定 文1に対する確率 文2に対する確率 PCFGの場合この制約を満たすように最大値を求めなければならない 制約付き極値問題⇒ラグランジュの未定乗数法 問題

  6. PCFGの最尤推定 ラグランジュの未定乗数法

  7. PCFGの最尤推定 • 結果 • θ1=0.081357 • θ2=0.459321 • θ3=0.459321 • θ4=0.377964 • θ5=0.207345 • θ6=0.41469 • θ7=0.5 • θ8=0.5

  8. EMアルゴリズム • 最尤推定をコンピュータで行うためによく用いられるアルゴリズム • アルゴリズム • θ := 適当な値 • [Eステップ] θを用いて各構文木の確率を計算 • [Mステップ]全体の尤度がより高くなる新しいθを求める • 2.に戻る

  9. EMアルゴリズム: Eステップ θ(i): 前回求めたパラメータ 各構文木の確率

  10. EMアルゴリズム: Mステップ 書換規則の適用回数

  11. EMアルゴリズム: Mステップ 各構文木ごとの書換規則の適用回数の期待値 更新パラメータ

  12. EMアルゴリズムの心 S 構文木　t11 構文木　t12 S VP NP VP θ2 NP θ5 θ1 V NP θ5 VP John θ4 θ2 θ7 John V NP NP PP PP θ7 sees θ6 θ6 sees Mary Mary with_a_telescope with_a_telescope 構文木　t21 S ・新しいパラメータは単純な数え上げと同様に書換規則の適用頻度から求まる ・ただし、曖昧性のある文に対しては、書換規則の適用頻度の期待値として数え上げる ・構文木の確率は現在のパラメータから求まる NP VP θ3 θ4 V NP PP θ8 θ6 runs Mary with_a_telescope

  13. EMアルゴリズム: まとめ θ(0) := 適当な値 [Eステップ]θ(i)を用いて各構文木の確率を計算 [Mステップ] θ(i+1)を求める 2.に戻る

  14. EMアルゴリズム(一般) 1/2 パラメータ: θ 入力: x 隠れ状態: z データ: S={x(1), x(2), …, x(n)} 対数尤度: LS(θ) (Jensenの不等式)

  15. EMアルゴリズム(一般) 2/2 隠れ状態の確率とパラメータを交互に動かして、Fを最大化 Eステップ Mステップ

  16. EMアルゴリズム: 局所解 • 極値を求めているので最適解とは限らない • 良い解が得られるかどうかは初期値に依存している • 色々な初期値を試す • 他の頻度情報を使って初期値を設定

  17. EMアルゴリズム:結果 .......

  18. おまけ: 解析的に求めるのが難しいPCFGの例 p(t1) = θ3θ4θ5θ6θ7θ8θ9θ10θ11θ12 p(t2) = θ42θ5θ6θ7θ8θ9θ10θ11θ12 θ3+θ9+θ10+θ11=1, θ4+θ5=1, θ6+θ7+θ8=1, θ12+θ13=1 構文木　t1 構文木　t2 S S VP VP NP NP VP VP NP NP PP N PP V VP N PP N NP N PP 太郎 が が V を 褒める N PP N N PP 太郎 花子 と 花子 映画 褒める と 映画 を “太郎が花子と映画を褒める”

  19. 頻度のディスカウンティング • ゼロ頻度問題 • ある単語がたまたま訓練コーパス中に出現しなかったら、その単語に対するパラメータは0になってしまう • その単語が出現するテストコーパスの構文木の確率は0になってしまう! • 対策: 出現回数を補正

  20. 加算法 (additive method) • ラプラス法 • 頻度に1を加える N: 訓練データ中に出現した単語の総数 V: 出現確率の合計を1にするための定数(n単語列の異なり総数に等しい) • 一般の方法(リッドストーン法とも呼ばれる) • 頻度に小さな値(δ)を加える • δ=1/2の時、予期尤度推定法(expected likelihood estimation)、あるいはジェフリース・パークス法を呼ばれる

  21. ヘルドアウト推定法 • 訓練データを二分割 • 訓練データ • ヘルドアウトデータ(Chをヘルドアウトデータ中の出現回数とする) • 訓練データでの出現回数をヘルドアウトデータでの出現回数で置き換える

  22. 削除推定法(deleted estimation) • ヘルドアウト推定法のクロスバリデーション版 • 訓練データとヘルドアウトデータの役割をさらに交換すれば2倍データが増える

  23. グッド・チューリング推定法(Good-Turing estimation) 出現回数の補正値として次のr*を用いる 出現確率

  24. 各種推定法による比較 APコーパス中の2単語組の出現回数の推定

  25. まとめ • PCFGとEMアルゴリズム • EMアルゴリズム • ディスカウンティング

More Related