1 / 8

Pravdepodobnostný model tvarovej podobnosti pre flektívne jazyky

Pravdepodobnostný model tvarovej podobnosti pre flektívne jazyky. Ing. Peter Kosteln ík , KKUI TU Košice Ing. Karol Furdík , IFBL Slovakia, s.r.o., Košice. Cieľ výskumu:.

jessie
Download Presentation

Pravdepodobnostný model tvarovej podobnosti pre flektívne jazyky

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Pravdepodobnostný modeltvarovej podobnosti pre flektívne jazyky Ing. Peter Kostelník, KKUI TU Košice Ing. Karol Furdík, IFBL Slovakia, s.r.o., Košice

  2. Cieľ výskumu: Navrhnúť a implementovať interaktívny učiaci sa systém, modelujúci procesy predpokladané pri percepcii prirodzeného jazyka. Východiskové hypotézy: • Subjektívne je jazyk prostriedkom reprezentácie sveta. Zároveň je jazyk súčasťou tohto sveta. • Svet, tak vonkajší (vstup systému) ako aj vnútorný (stav systému), je premenlivý. Jazyková reprezentácia sveta musí byť schopná odrážať tieto zmeny.

  3. Predpoklady: • Žiadne, alebo iba minimálne vstupné informácie, pravidlá. • Vnútorné (subjektívne) jazykové štruktúry vznikajú, vyvíjajú sa a zanikajú iba v procese učenia sa, ako dôsledok meniaceho sa (vonkajšieho alebo vnútorného) sveta. • Možné použitie: • Modelovanie vzniku a vývoja gramatík (ako subjektívnych jazykových štruktúr), • Modelovanie pojmového myslenia, • porovnávanie textov podľa obsahovej blízkosti, • automatická identifikácia jazyka textu (schopnosť odlíšiť napr. slovenský text od českého)

  4. Niektoré používané prístupy: • Štatistický prístup – metóda kľúčových slov • Vector-Space model • Distributional Semantic model • Latent Semantic model • Metóda slovníkov, tezaurov • Lingvistický prístup, explicitné pravidlá(napr. systém SAPFO E.Páleša)

  5. Východiská navrhnutej heuristiky • hypotéza o existencii univerzálnych (s rezervou?) transformačných pravidiel z jedného tvaru slova na iný • predpokladá sa, že tieto transformačné pravidlá charakterizujú morfológiu jazyka (alebo, vo všeobecnosti, jazyk ako taký) z pravdepodobnostného hľadiska • Transformačné pravidlá sútvorené: • Operátormi prepisu • Pravdepodobnostným ohodnotením • Operátory prepisu • Doplnenie zľava(napr. podvod – podvod+ník) • Operátor zmeny(napr. alch+imista– alch+ímia) • Doplnenie sprava(napr. šťastie –ne+šťastie)

  6. Priestor typických reťazcov • Je tvorený postupnosťami (reťazcami) operátorov prepisu s najvyššou hodnotou pravdepodobnosti • Vzniká a vyvíja sa v procese učenia sa • Simuluje krátkodobú pamäť • Obsahuje explicitné vyjadrenia vnútorných subjektívnych jazykových štruktúr vo forme transformačných pravidiel • Dovoľuje implementovať samoorganizačné mechanizmy • Experimenty: Testovacia kolekcia • Encyklopédia zvierat dostupná na http://www.zone.sk/animals/. • 66 dokumentov menšieho rozsahu (1-3 bežné strany) • Dokumenty tematicky štruktúrované do blokov • Použitý bol odborný štýl

  7. Experimenty: Model tvarovej podobnosti • Učiaca vzorka: 17 dokumentov, 4 tematické oblasti (drsnokožce, obojživelníky, kruhoústnice a plazy). • Úloha: priradenie všetkých nájdených tvarov k hľadaným slovám: • Pozn. Tvary voda a plaziť sa nenachádzali v texte žiadneho zo spracovaných dokumentov.

  8. tvar/slovo tvar/slovo raja žaba had *voda život ústa *plaziť 1. 1. žabám raje hady vodu živé ústami plazy 2. 2. žaby rají veľhadovité voda živia ústi plazom 3. 3 rajami žaba hadov vode živočíchov kruhoústnice plazov 4. 4. naberajú - odhaduje vodné živý ústa - 5. 5. veľraje - veľhady vody živočíchmi - - 6. 6. - vyzerajú had vodách život - - 7. 7. - - hadom - obojživelníkov - - 8. 8. - - - - živorodé - - 9. 9. - - - - živiace - -

More Related