Työpaketissa kehitetään suomenkielisiä puhesovelluksia erilaisille käyttäjäryhmille.

1. PUMSVuorovaikutustutkimus ja sovelluksetMarkku TurunenTampereen yliopistoVTTHelsingin yliopistoPUMS-talviseminaari, Joensuu, 10.3.2006

2. Työpaketin konkreettiset tavoitteet • Työpaketissa kehitetään suomenkielisiä puhesovelluksia erilaisille käyttäjäryhmille. • Pääkohteeksi on valittu paikallisliikenteen informaatiosovellukset. • Yleisen aikatauluinformaation lisäksi käyttäjälle tarjotaan sopeutettua reitinopastusinformaatiota. • Moniaistinen vuorovaikutus: karttakäyttöliittymä ja graafinen älypuhelinkäyttöliittymä.

3. Tutkimukselliset tavoitteet • Dialoginhallinta- ja vuorovaikutustekniikat mm. kehittyneisiin puhetulosteisiin, virheidenhallintaan ja opastukseen liittyen. • Multimodaaliset vuorovaikutustekniikat. • Lisäinformaation, kuten paikannustiedon ja häiriötiedon hyödyntäminen. • Vuorovaikutusta tukevan arkkitehtuurin kehittäminen. • Konsepteja ja selvitys sovelluskohteista.

4. Tehtävät T1. Aikataulusovellus puhelimella T2. Reitinopastussovellus mobiililaitteilla T3. Multimodaalinen reitinopastus T4. Yleinen puhesovellusalusta T5. Joukkoliikenteen informaatiopalvelu T6. Puhepohjainen informaatiokioski T7. Selvitys puheteknologian sovelluskohteista

5. Tulokset yleisellä tasolla • Yleinen sovellusalusta, joka toimii myös projektissa tuotettavaa teknologiaa integroivana komponenttina. • Puhepohjaista ja multimodaalista vuorovaikutusta mahdollistavia teknologiakomponentteja. • Teoreettista ja käytännöllistä tietoa joustavasta, tehokkaasta, luontevasta ja käyttäjäorientoituneesta vuorovaikutuksesta. • Kartoitus suomenkielisen puheteknologian sovelluskohteista.

6. Konkreettiset tulokset • Testattu, tuotteistettavaksi ja käyttöönotettavaksi valmis puhelinpohjainen aikataulujärjestelmä, joka on testattu laajalla joukolla aidossa julkisessa koekäytössä. • Testattu, tuotteistettavaksi valmis PDA-laitteilla sekä älypuhelimilla toteutettu reitinopastus- ja informaatiopalvelu, jota on testattu näkövammaisilla käyttäjillä. • Kaksi PDA- ja älypuhelinpohjaista tutkimusprototyyppiä multimodaalisesta ja puhepohjaisesta reitinopastuksesta ja aikatauluista. • Yleinen puhesovellusalusta käytettäväksi erilaisilla laitealustoilla, erityisesti puhelin ja mobiililaitteilla. • UITP- joukkoliikennekonferenssissa demonstroitava joukkoliikenteen sovelluskokonaisuus. • Puhepohjaisen informaatiojärjestelmän kioskikäyttöliittymän prototyyppi. • Selvitys puheteknologian sovelluskohteista ja markkinatilanteesta.

7. Lähtökohdat • Hankkeessa hyödynnetään tutkijaosapuolien aikaisemmissa projekteissa ja aikaisempina vuosina tuottamaa teknologiaa mm. reitinhaun, paikantamisen, puhekäyttöliittymien, sovellusarkkitehtuurien ja keskustelunhallinnan piiristä. • Suunnittelun pohjana käytetty neljästä aikaisemmasta tutkimusprototyypistä saatuja kokemuksia (Pysäkkimies, Interact, Bussimies, NOPPA). • Aikataulusovellus perustuu Tampereen kaupungin liikennelaitokselle tuotettuun palveluun, joka on ollut julkisessa käytössä syksystä 2003 alkaen.

8. Käyttäjäkeskeisyys • Vahvasti käyttäjälähtöinen lähestymistapa. • Käyttäjäryhmien mukanaolo (NKL). • Tietoa puheteknologian hyväksyttävyydestä ja potentiaalista • Sovelluksille suoritetaan useita evaluointeja ja käytettävyystutkimuksia. • Demonstraatio laajalle yleisölle (UITP joukkoliikennekonferenssi 2007).

9. Esimerkkejä toiminnallisuudesta Pysäkkimies • Pysäkkiaikataulutiedot numeron perusteella. • Pysäkkiaikataulutiedot nimen perusteella. • Reittiaikataulut katuosoitteilla. • Reittiaikataulut nimillä (nimetyt kohteet). • Reitinopastus. (NOPPA/MUMS)

10. Pysäkkimies (1/2) • Pysäkkikohtainen aikataulupalvelu Tampereen paikallisliikenteeseen (jatkossa Helsinki, Turku ja Kouvola). • Perustuu Tampereen kaupungin liikennelaitokselle tuotettuun palveluun, joka on ollut julkisessa käytössä syksystä 2003 alkaen. • Suunnittelun pohjana käytetty kolmesta aikaisemmasta järjestelmästä saatuja kokemuksia.

11. Pysäkkimies (2/2) • Käytettävissä puhelimella, kämmenmikrolla (PDA) tai älypuhelimella (Series 60). • Vuorovaikutus tapahtuu pääosin samoin kaikissa versioissa. • Puhelimella käytettäessä komennot voidaan antaa puheella ja tarvittaessa näppäimillä (esimerkiksi pysäkin numero). • Älypuhelimessa käytössä skaalautuva multimodaalinen valikkokäyttöliittymä. • Julkisessa käytössä: http://www.cs.uta.fi/hci/spi/pysakkimies/.

12. Esimerkkidialogi (1/3)

13. Esimerkkidialogi (2/3)

14. Esimerkkidialogi (3/3)

15. Multimodaalinen älypuhelinversio (1/2) Puhelin käyttöliittymä Dialogi Multimodaalinen älypuhelin-käyttöliittymä graafisin elementein Pums Aikataulut Apua Lopeta Pums aikataulut hyvää päivää. Voit pyytää apua sanomalla “kerro ohjeet”. Ole hyvä ja kerro pysäkinnimi, esimerkiksi Keskustori. “Tampere talo” Haetaanko pysäkin Tampere talo aikataulu? Tampere talo? Kyllä Ei Apua Lopeta “Kyllä” Nimellä Tampere talo löytyi kaksi pysäkkiä, odota hetki yhdistän aikataulut. Kello on 10:10. Tänään, seuraavat linjat pysäkiltä Tampere talo ovat Vehmaisiin linja 5, nyt, Hermiaan linja 13, minuutin kuluttua… (listaus jatkuu)… Anna komentosi, esimerkiksi kerro ohjeet. 5->Vehmainen nyt , 13->Hermia 1 min., 13->Ikuri 7 min., 22->Haukilouma 7min. Apua Lopeta

16. Kerro linjan numero tai valitse se listalta. Viisi 13-> Hervanta, in 5.. Help Quit Seuraava 13 Hervantaan lähtee (listaus jatkuu) ... Linjan numero? 5 13 22 Help Quit Multimodaalinen älypuhelinversio (2/2) “Valitse linja” Painaa nappia 8 Painaa Joystick Alas Painaa nappia 8 Painaa Joystick Alas Kolmetoista Painaa nappia 5 Painaa Joystick Valitse

17. NOPPA (1/3) • NOPPA tarjoaa matkustajainformaatiota ja kulkuopastusta joukkoliikenteen käyttäjille kämmenmikroilla (PDA) ja älypuhelimilla (Series 60)

18. NOPPA (2/3) • NOPPA sisältää puhekäyttöliittymän, ovelta ovelle opastuksen joukkoliikennetta hyödyntäen, tavallisimmat paikannustoiminnot ja lukuisiainformaatiopalveluja.

19. NOPPA (3/3) • Noppa tarjoaa tavan käyttää YTV:n Reittiopasta matkapuhelimella siten, että kohteet voi antaa puheella ja reitit opastetaan GPS-paikannusta hyödyntäen. • Lisäominaisuuksina mm. HKL:n poikkeusliikennetiedotteet ja käyttäjän koordinaattien perusteella haetut lähimmän reaaliaikapysäkin tiedot.

20. MUMS (1/3) • Kämmenmikrossa (Microsoft Mobile) toimiva multimodaalinen reitinopastusjärjestelmä. • Järjestelmä ymmärtää luonnollista puhetta: ”haluaisin rautatientorilta länsi-pasilaan” • Scrollattava ja zoomailtava kartta, jota painelemalla voi antaa paikkatietoa • Käyttäjä voi yhdistää puhetta ja karttaosoituksia: ”pitäisi päästä täältä <osoitus> länsi-pasilaan” • Järjestelmä vastaa puheella ja graafisilla karttaesityksillä.

21. MUMS: (2/3) • Käyttäjä voi halutessaan käyttää vain puhetta tai vain karttaa. • GPS käytössä: käyttäjä näkee sijaintinsa kartalla, ja täydellinen reittikysymys on helpommin esitettävissä: ”miten pääsen länsi-pasilaan”. • Järjestelmä kysyy aktiivisesti puuttuvia tietoja: ”anna lähtöpaikka” / ”anna tulopaikka” • Järjestelmä opastaa käyttäjää matkaosuuksin juuri määritetyllä reitillä: ”opasta” / ”opasta lisää”.

22. MUMS (3/3)

23. Käytettävyystutkimus • Aikataulujärjestelmän julkinen käyttö ja datan kerääminen: • versio 1 vuoden 2003 marraskuulta. • versio 2 vuoden 2005 helmikuulta. • Syksyllä 2005 puheluita on nauhoitettu yli 1600 (versio 1: ~1100, versio 2: ~500). • Käytettävyyttä mittaavia tutkimuksia: • Aikataulujärjestelmän 60 hengen vertailututkimus kahdella eri synteesillä. • Multimodaalisen järjestelmän testit 17 hengen koekäyttäjäjoukolla.

24. Nauhoitetut puhelut Käytettävyystestaus Alkuinnostus Heinäkuu

25. Koekäytön havaintoja • Puheluiden lyheneminen alun jälkeen: 11/2003: 2:50 => 06/2004: 1:02. • Suurimmassa osassa puheluista kuunnellaan vain ensimmäinen listaus. • Käytettävyystestin tulokset ja aidoilta käyttäjiltä saadun materiaalin ero: • Aidossa käytössä ei käytetä läheskään kaikkea järjestelmän toiminnallisuutta. • Käytettävyystesteissä käydään läpi järjestelmän eri osa-alueita tehtävien mukaisesti. • Käytettävyystesteissä opiskelijoita. • Koekäytön käyttäjistä ei tiedetä paljoakaan.

26. Käytettävyystestin tuloksia • Järjestelmä on täsmällinen, luotettava, hyödyllinen, tekee vähän virheitä. • Puheentunnistusta pidetään hyvin luotettavana. • Puhesynteesiä pidetään hyvin ymmärrettävänä. • Järjestelmää ei pidetä erityisen miellyttävä . • Puhesynteesiä ei pidetä erityisen luonnollisena. • Vuorovaikutusta ei pidetä tehokkaana (mutta ei myöskään liian hitaana). • Järjestelmä ei tee aina oletettua ja käyttäjä ei aina tiennyt mitä puhua.