Raamatukogu elektrooniline keskkond, võimalused tulemusindikaatorite kasutamiseks.

1. Raamatukogu elektrooniline keskkond, võimalused tulemusindikaatorite kasutamiseks. Anu Nuut Eesti Rahvusraamatukogu Pedase’2004

2. Tulemuslikkus raamatukogutöös • Teenindusasutusena on raamatukogutöö planeerimise aluseks teenuste kvaliteet, infotarbija rahulolu ja tulemus ning soovitud tulemuste saavutamiseks vajalikud ressursid. • Analüüsitakse: • Sisendeid (info-, inim- ja finantsressursid ja nende jaotus) • Väljundeid (teenuste ulatus ja vastavus raamatukogu ülesannetele ning tegevuse eesmärkidele) • Tulemust (resultaadi vastavus püstitatud eesmärgile). • Raamatukogud vajavad tulemuste analüüsi ja tulemuslikkuse hindamist, et tõdeda milline efekt järgneb muudatustele (milline on saadav tulu kokkuhoiust, teenuste uuendusest, tööprotsesside muutmisest).

3. Väljundi ja mõju hindamine • Väljundi hindamine eeldab õigete ja vajalike mõõtmismeetodite ja indikaatorite valikut. • Tulemus peab õigustama oodatud efekti ja valikud võivad olla järgmised: • Ökonoomika hindamise metoodika • Sotsiaalse mõju hindamise metoodika • Infokirjaoskuse hindamise metoodika • Kasutaja infooskuste hindamise metoodika • Kasutaja infovajaduste hindamise metoodika • Kasutaja üldrahulolu hindamise metoodika • Edu saavutamise hindamine õppe- ja teadustegevuses, akadeemilises suhtluses. • Ökonoomika ja mõju hindamise põhilised meetodite rakendamise põhikogemus pärineb USAst ja Suurbritanniast.

4. Tulemuste (outcomes) hindamise praktikastprof. Peter Hernon, Simmonsi Kolledz USA • Viimased 4 aastat on raamatukogutöö tulemuslikkuse mõõtmises raamatukogutöötajad maailmas keskendunud sisendite ja väljundite mõõtmisele, teenuste kvaliteedi ja tulemuste hindamisele, kusjuures vastavalt keskkonna muutustele muutuvad mõõtmisobjektid ja indikaatorid, uueneb mõõtmismetoodika. • Lisandunud on mõju ja tõhususe mõõtmine ning ühiskonna kasulikkuse aspekti hindamine. • Tulemuste hindamise aluseks on soov teada saada kui hästi on mõõdetav tegevus, protsess või teenus korraldatud. Tulemuste mõõtmine oleneb eesmärgi püstitusest, mida tahetakse teada saada? Näit. ülikooliraamatukogudes on tulemuste mõõtmine seotud õppeprogrammidega, muutustega riiklikes haridusprogrammides, nõudmistega õppe- ja teadustegevusele • Tulemus võib olla kvalitatiivne või kvantitatiivne näitaja, valitud meetoditest oleneb hindamise käik.

5. Tulemuste hindamise praktikast • Näiteks ülikooliraamatukogudes: • Hinnatavaks väljundiks loetakse infokirjaoskust ja üliõpilaste võimekust ning edukust õppetöö käigus, suhtlemisoskust- teisisõnu üliõpilaste käitumist (behaviour). • Tulemuste hindamine toob esile muutused õppeprotsessis ja õppeprogrammides, sageli viitab vajadusele teha muutuseid. • Tulemuste hindamine annab ka ülevaate kas üliõpilaste oskused ja teadmised on oodatud muutuste suunas arenenud, st kas neil on piisavalt oskuseid raamatukogu kasutamiseks ja infootsinguks ning kas see omakorda vastab raamatukogu ootustele. • Eriti oluline on see tänapäeval seoses elektrooniliste jadaväljaannete ja andmebaaside kasutusvõimaluste avardumisega.

6. Sisendi ja väljundi mõõtmisest kvaliteedi hindamiseni ning tulemuste esitamiseni :Kasutajad raamatukogu elus ja raamatukogud kasutaja elus. • Martha Kyrillidou (ARL)esitab kontseptsiooni raamatukogu mudelist tänapäeva elektroonilises keskkonnas, kus võrgupõhised teenused moodustavad põhiosa osutavatest teenustest. See muutus, mis on aset leidnud raamatukogudes toob kaasa uued hindamismudelid, traditsioonilise raamatukogu hindamismudel pole enam sobilik. • Sisendid inimressursi, finantsressursi ja inforessursi näol on raamatukogul olemas, analüüsida on vaja tulemust. • Digitaalne raamatukogu pakub informatsiooni kasutusõigust virtuaalses keskkonnas, mis avardab kasutaja võimalusi. Elektrooniline keskkond on esitanud uue väljakutse uuringuteks st. - raamatukogu teenuste ja tulemuste mõõtmist õppe- ja teadustegevuseelektroonilises keskkonnas.

7. Sisendi ja väljundi mõõtmisest kvaliteedi hindamiseni ning tulemuste esitamiseni :Kasutajad raamatukogu elus ja raamatukogud kasutaja elus. • Kvaliteedi hindamise kontseptsioon hõlmab ka üliõpilaste teadmiste ja oskuste hindamist õppeprotsessi käigus. Arvesse tuleb ka teadus- ja õppetegevuse riiklik toetamine ning rahastamine, arengukavade aktsepteerimine, õppeprogrammide akrediteerimine. • Sisendeid on mõõdetud raamatukogustatistika näol aastakümneid, ja selle hindamine annab võimaluse ressursside suurendamiseks vajadusel, kuid ei anna hinnangut tegevusele. • Digitaalraamatukogu hindamismetoodika on väljatöötamisel ning hõlmab nii infotehnoloogilisi vahendeid kui sisutööstust, väliseid kommunikatsioonivahendeid. Raamatukogud on sotsiaalsed institutsioonid moodustades osa riiklikust infrastruktuurist - mistõttu saab hinnata raamatukogutöö tulemuslikkust siiski selle alusel, mida me pakume kasutajale, millised teenused ja vahendid on kasutaja tarbeks ja mis leiab kasutamist lugeja poolt, tema hinnang ja infonõudlus on olulised.

8. Raamatukogu kasutaja rahulolu, teenuste kvaliteedi ja lojaalsuse hindamine : integreeritud mõõtmise ja juhtimise süsteemAnne Mortenson, Lars Gronholdt Taani, Kopenhageni Ärikool Kasutaja rahulolu ja lojaalsuse mudel • sisaldab 6 kvaliteedi dimensiooni: • Elektroonilised ressursid (veebileht, avalik elektronkataloog, andmebaasi otsisüsteem, elektrooniliste väljaannete kasutusõigus) • Trükiväljaanded • Teised teenused( kasutaja koolitus, kursused jmt) • Tehnilised vahendid(arvutid, paljundusmasinad) • Raamatukogu keskkond (lugemissaalid, raamatukogu atmosfäär, lahtiolekuajad jmt) • Inimese kaasabi teenuse vahendamisel (raamatukoguhoidja teadlikkus, oskused ja pädevus, abivalmidus ja sõbralikkus) Neile dimensioonidele lisandus kasutaja hinnang, kasutaja rahulolu ja lojaalsus (kasutaja uuring, küsimustik, kus igat dimensiooni iseloomustas konkreetsete küsimuste ring, hinnangu tulemused paigutati skaalale, mis iseloomustas kuue dimensiooni mitmemõõtmelist mudelit.).Mudel võimaldab prioriteete eraldada.

9. Raamatukogutöö tulemuslikkuse hindamine digitaalraamatukogu arendamise kontekstis.Jane Barton, Suurbritannia. • Bartoni uurimistemaatika on seotud digitaaraamatukogude statistika kasutamisega, samuti hindamismeetodite testimisega ja hübriidraamatukogu teenuste analüüsimisega. • Ta on rakendanud digitaalraamatukogude projektides erinevaid tehnikaid eesmärgiga testida elektrooniliste teenuste ja kogude hindamise indikaatoreid, kasutaja infovajaduste hindamismetoodikat, infoturu läbilöögivõimet ja turundust, digitaalraamatukogu mõju ja tõhusust.

10. Elektrooniliste teenuste mõõtmine: allikad. Meetodid, strateegia ja soovitused. John Carlo Bertot, USA; Sebastian Mundt, Saksamaa; Peter Shepherd, Saksamaa • Eesmärk: • Elektrooniliste teenuste mõõtmiseks vajalike meetodite väljatöötamine, indikaatorite kehtestamine, standardite koostamine. • Digitaalraamatukogude mõõtmismetoodika eeldab kõigi võrgupõhiste teenuste mõõdikute väljatöötamist, veebilehekülgede ja võrgu statistika mõõtmist. • USAs 95% ülikooliraamatukogudest ja 99% rahvaraamatukogudest omavad Internetiühendust ja pakuvad e-teenuseid. Mõõtmised hõlmavad nii sisendit kui väljundit, tarbija teenuseid, raamatukogude võrdlevat analüüsi, tasakaalus- tulemuskaarti, tulemusindikaatoreid jt mõõtmismeetodeid. • Projekt COUNTERhttp://www.project.counter.org

11. Elektrooniliste teenuste mõõtmine, allikad, meetodid, strateegia ja soovitused. • Raamatukogud ja Konsortsiumid vajavad elektroonilise keskkonna mõõtmismetoodikat ja statistikat, et • hinnata erinevate e-teenuste ja e- väljaannete kasutust, • toetada kogude arengut ja täiendamist e-väljaannetega • toetada uusi hinnakujundusmudeleid ja planeerida infrastruktuuri. • USA kogemus: Teadusraamatukogude Ühingu ARL eestvedamisel läbiviidud uuring (projekt) Measures for Electronic Resources (E-metrics) ARL • http://www.arl.org/newmeas/newmeas.html • http://www.arl.org/stats/newmeas/emetrics/index.html • (koosnes 5 faasist) • P1 - E-Metrics: Elektrooniliste ressursside mõõtmine • Projekti taust – Teadusraamatukogudel puudus täiuslik ülevaade elektroonilise keskkonna ressursside ja teenuste kasutusest ning pakkumisest, e-keskkonna andmestiku (statistika) kogumisest ja analüüsimeetoditest. Eesmärk oli tuua selgust e-keskkonna mõõtmismetoodikasse ja tasakaalustada elektrooniliste inforessursside hanget ning kasutust.

12. Elektrooniliste teenuste mõõtmine, allikad, meetodid, strateegia ja soovitused. • P 2 E-metrics: Teadusraamatukogude võrguteenuste statistika kogumise ja mõõtmise protseduurid ning vahendid • Antud projekti raames testiti teadusraamatukogude võrguteenuste pakkumisvõimalusi ja analüüsiti sellele tehtavaid kulusid, et välja töötada mõõtmismetoodika ja hindamistehnika, pakkuda juhiseid raamatukoguteenuste elektrooniliste võimaluste planeerimiseks ja elektrooniliste infoallikate hankeks ning digitaalraamatukogu loomiseks. • E-keskonna mõõtmistulemuste hindamisel on oluline teada: • Elektrooniliste teadiste (teenuste) suhet raamatukogu teadiste (tavateenuste) üldarvu • Virtuaalkülastuste suhet raamatukogu külastuste üldarvu • E-raamatute suhet raamatute üldarvu, elektrooniliste jadaväljaannete nimetuste suhet jadaväljaannete nimetuste üldarvu jmt. Eelpoolnimetatud mõõtmisandmed annavad võimaluse teadusraamatukogudel kirjeldada raamatukogu juurdepääsu avatust elektroonilistele ressurssidele

13. Elektrooniliste teenuste mõõtmine ja allikad, meetodid, strateegia ja soovitused. • Projekti käigus testiti alljärgnevaid indikaatoreid: • Kasutaja juurdepääs inforessurssidele (elektroonilised täistekst ajakirjad, elektroonilised teatmeallikad, e-raamatud); • Elektrooniliste infoallikate ja teenuste kasutamine (e-teenused; elektroonilistesse andmebaasidesse sisselogimine (sessioonide arv), otsingute arv e- andmebaasis, leitud allikate arv, virtuaalkülastuste arv veebilehele ning elektroonilisse kataloogi; • Kulud võrgu inforessurssidele ja vastava infrastruktuuri loomisele (kulud täitekst e- ajakirjadele, elektroonilistele teatmeallikatele ja andmebaasidele, e- raamatutele, bibliograafilistele vahenditele, võrguteenustele, konsortsiumi kulud võrguteenuste ja võrgu infoallikate kättesaadavaks tegemiseks • Raamatukogu digiteerimine – digitaalsete kogude suurus ja suhe tavakogusse, digitaalkogude kasutus, kulud digitaalkogude loomiseks ja haldamiseks

14. Elektrooniliste teenuste mõõtmine ja allikad, meetodid, strateegia ja soovitused. • Projekti uuringutulemused pakuvad teadusraamatukogudele kasulikke vahendeid ja juhiseid raamatukogu elektroonilise kskkonna kasutuse analüüsiks: • Võrguteenuste ja e-inforessursside kasutuse mõõtmiseks ja analüüsiks võtmestatistka elemente • Mõõtmiseks vajalike elementide määratluste ja protseduuride standardimist • Täiustada mõõtmistulemuste tõlgenduseks vajalike andmeelementide kogumise metoodikat ja analüütiliste aruannete esitust. Elektrooniliste inforessursside ja e- teenuste mõõtmistulemused annavad vajalikku informatsiooni raamatukogu e-keskkonna hindamiseks, digitaalraamatukogu planeerimiseks, koostöö arendamiseks elektrooniliste inforessursside tarnijatega.

15. Elektrooniliste teenuste mõõtmine ja allikad, meetodid, strateegia ja soovitused. • P3 Elektroonilise keskkonna mõõtmismudel koosnes alljärgnevatest komponentidest: • Sisend (input) – panus (tööpanus, info- ja finantsressurss); • Väljund (output) - toodang, teenused, töö resultaat; • Mõju (impact) – töö efektiivsus, tõhusus; • Tulemus (outcome) – tegevuse tulem, praktiline resultaat, effekt, mis saavutati; • Väärtus (value) – ostujõu ja tasuvuse hinnang; • Kasum (benefit) – saadud tulu; • Põhirõhk oli suunatud väljundi mõõtmisele ja hindamisele, kusjuures võrreldi tegelikke tulemusi soovitud (oodatud) tulemustega.

16. Informatsiooniline keskkond JUHTIMINE & INIMRESSURSS Tagasiside • Andmetabelid, andmebaasid • Töövahendid • SQL Päringud • Juhtimisinfo (päringud) vahendid • Statistiliste andmeanalüüside vahendid • Veebi analüüsi vahendid • Andmed, inforessurss • Protsessid & Vahendid • Väljund • Töö põhimõttedja kord - manuaal • (Teatmestu, RVL, jmt) • Elektrooniline süsteem • E- ressursid • Jooksvad andmed • Tegevust iseloomustav info • Andmearhiiv • Aruanded • Analüüsid • Ülikooli andmed • Finantsandmed • Registreeritud andmed Väljundid & Tegevus • Kvaliteedi näitajad • Ülevaated • E-teenused ja veebi tagasiside • Sihtrühmad • Finantseerijad & Külastajad

17. E-Keskkonna Hindamismudel • Ülesannete püstitus. • Andmeanalüüsi näitajate identi-fitseerimine & Vajadused • Andmete kogumine Missioon/Eesmärgid Ülesanded • Juhtimisinformatsioon • Ettevalmistamine • Aruandlus, Õppimine & Rakendus

18. Täiendavad Mõõtmised & Allikad • Väliste tarnijate allikmaterjalid • Maksumusanalüüsid • Kvaliteedi mõõtmine ja hindamine (LibQual+; SERVQual jt) • Tulemuste hindamisele orienteeritud mõõtmised

19. ORGANISATSIOONILINE KONTEKST Raamatukogu Võrguteenused ja elektroonilised allikad

20. Tulemusindikaatorid raamatukogu elektroonilistele teenustele • Elektroonilise keskkonna tulemusindikaatoreid käsitletakse tehnilises aruandes nr.20983. Selles dokumendis esitatakse elektrooniliste teenuste mõõtmismetoodika, mis annab võimaluse võrguteenuste kasutuse analüüsiks, efektiivsuse ja tõhususe hindamiseks ning hangitud andmebaaside ja elektrooniliste väljaannete hanke hindamiseks. • Tehnilise aruande nr. 20983 täiendused on kooskõlas alljärgnevate standarditega: • ISO 2789:2003 Informatsioon ja dokumentatsioon. Rahvusvaheline raamatukogustatistika • ISO 5127:2001 Informatsioon ja dokumentatsioon. Sõnastik • ISO 11620:1998 Informatsioon ja dokumentatsioon. Raamatukogutöö tulemuslikkuse indikaatorid • ISO 11620:1998 Informatsioon ja dokumentatsioon. Raamatukogutöö tulemuslikkuse indikaatorid. ISO 11620DAM 1. Muudatused: Täiendavad töö tulemusindikaatorid raamatukogudele

21. Mis tuleb muutmisele praeguses raamatukogustatistika standardis ISO 2789:2003? Ettevalmistamisel on tehniline aruanne TR 19934 Statistics for the use of electronic services (detsember 2004). Muutmisele läheb standardi LISA A Elektrooniliste raamatukoguteenuste kasutamise mõõtmine. /Liialt üldsõnaline, definitsioonid vajavad täpsustamist ja meetodid lahtikirjutamist/ • Muutmisele lähevad järgmised osad: • A1 Üldist • A2 Elektrooniliste teavikute kogu mõõtmise küsimused • A3 Kasutamise mõõtmise küsimused • A4 Elektroonilised teenused • A5.2.3 Allalaaditud teavikute arv • A5.2.4 Allalaaditud kirjete arv • A5.2.5 Virtuaalkülastuste arv

22. Mis tuleb muutmisele praeguses raamatukogustatistika standardis ISO 2789:2003? • A5.2.6 Seansi kestus • A5.2.7 Tagasilükatud seansside arv • A5.2.8 Otsingute arv • A5.2.9 Interneti seansside arv • A5.4.2 Avalik elektronkataloog • A5.4.3 Elektrooniliste teavikute kogu • A5.4.4 Raamatukogu veebisait • A5.4.5 Pääs Internetti

23. Tulemusindikaatorite kategooriad e-raamatukogule Indikaatorid kui mõõtmisvahendid: kasutamise metoodika ja nende arvutusvalemid.

24. Tulemusindikaatorite kategooriad e-raamatukogule (TR 20983) • Elanikkonna protsent, kellel on juurdepääs [kasutusõigus] elektroonilistele teenustele; • Kulu protsent eelarvest elektrooniliste ressursside hankeks; • Ühe sessiooni vältel allalaaditud dokumentide arv ; • Sessiooni maksumus; • Allalaaditud dokumendi maksumus; • Ebaõnnestunud sessioonide protsent; • OPACi [avaliku elektronkataloogi] kaugsessioonide protsent; • Elektrooniliselt esitatud infopäringute protsent; • Elektroonilise teenuse kasutusoskuse omandamiseks pakutud koolitustundide arv ühe teenindatava kohta;

25. E-keskkonna tulemusindikaatorite kasutamise eesmärk ja võimalused • Vahend, mille abil on võimalik analüüsida ja võrrelda teenuste kvaliteeti ja efektiivsust vastavalt raamatukogu rollile ühiskonnas, ülesannetele ja eesmärkidele: • Võrrelda ühe kindla raamatukogu tulemuslikkust aastate lõikes • Pakkuda kasulikku informatsiooni finantside jaotuseks ja otsuste tegemiseks, tõstes esile uute teenuste eeliseid ja halvastitoimivate puuduseid • Tutvustades hetkeolukorda avalikkusele, teenindatavatele ja rahastajatele • Võrrelda sama tüüpi raamatukogude (mis omavad sarnaseid ülesandeid ja eesmärke ühiskonnas) tulemuslikkust • Tagasiside ja hinnangu saamine raamatukogu e-keskkonna muutustele, kasutusele ja tegelikule nõudlusele. Indikaatorite abil on võimalik hinnata raamatukogu töö ja teenuste muutuseid, arengut ja kvaliteeti aastate jooksul ning erinevusi teiste samaväärsete raamatukogude vahel.