Rencontre des utilisateurs SAS de la région de Montréal 27 septembre 2005

1. Rencontre des utilisateurs SAS de la région de Montréal27 septembre 2005 Bureau de planification et d’études institutionnelles Implantation d’un entrepôt de données à l’Université Laval Commentaires sur l’expérience vécue à ce jour Richard Massé

2. Mandat du BPEI (extrait) • Effectue les études nécessaires à la gestion de l’information institutionnelle. • Toute activité ad hoc d’étude, de recherche, d’analyse-conseil, de coordination, de soutien, de supervision, d’évaluation ou de gestion spécifiquement confiée par le vice-recteur exécutif

3. Carrefour de l’information de gestion VRRH

4. Répartition de la charge de travail En février 2004 : • Recherche de l’information dans les systèmes opérationnels  50% • Production des rapports  40% • Analyse des données  10%

5. Répartition de la charge de travail En février 200? (espéré): • Recherche de l’information dans les systèmes opérationnels  10% • Production des rapports  10% • Analyse des données  80%

6. Comment en arriver à ce résultat ? Mettre en place un entrepôt de données ! Mais… C’est quoi au juste un entrepôt de données ???

7. Définition d’un entrepôt de données A data warehouse is a subject oriented, integrated, non-volatile, and time variant collection of data in support of management’s decisions. (W.H. Inmon, Building the Data Warehouse) Un entrepôt de données est un mécanisme permettant de remplacer le processus actuel de gestion des données par un mécanisme de gestion de la connaissance organisationnelle. (L’équipe du BPEI)

8. Infrastructure pour exploiter l’information Tableaux de bord Analyses Forages de données Rapports Cubes OLAP Online analytical processing Entrepôt Extractions Vues Données externes Bases de données opérationnelles BPEI

9. Les acquis… • Nos bases de données comportent (pour le moment) peu de redondance au niveau des tables nécessaires à la production des rapports destinés à la direction de l’institution. • Notre structure Oracle est relativement bien normalisée et documentée. • Modèle « large » mais peu « profond ».

10. Ce qu’il manque… • Un système de documentation des indicateurs. • Une structure nous permettant de conserver une image historique des données. • Un mécanisme de chargement de l’entrepôt. • Un mécanisme de diffusion des rapports. • Un environnement d’analyse des résultats. • Etc.

11. Plan de match – Contexte organisationnel • Que nous ne pouvons pas implanter toutes les composantes informatiques en même temps. • Qu’il faut utiliser au maximum les ressources déjà en place. (Service informatique, Service des communications, etc.) Le BPEI est composé de 4 personnes. Le directeur, 2 agents de recherche et de planification ainsi qu’un informaticien (moi). Cela implique :

12. Plan de match – Notre entente… • Je m’occupe de la structuration et du chargement des données. • Jacques et Luc utilisent ces données et produisent eux-mêmes les analyses nécessaires. Dans ce contexte de ressources limitées, nous avons dû nous entendre relativement à la répartition des tâches :

13. Vue d’ensemble

14. Chargement de l’entrepôt

15. Documentation

16. Obtention des données

17. Modélisation de l’entrepôt

18. Chargement

19. Diffusion des données

20. Gestion de Indicateurs Institutionnels (GII) • Un dictionnaire permettant de documenter des indicateurs. • Une structure générique permettant de conserver des résultats. Constatation : Avant de créer un entrepôt, vaux mieux savoir de quoi celui-ci va traiter ! Constatation : Les gestionnaires ne travaillent pas avec des tables et des colonnes mais bien avec des indicateurs. Par conséquence GII est :

21. Exemple de rapport - Fiche descriptive pour le comité du budget

22. Définition d’indicateurs

23. Définition d’indicateurs

24. Définition d’indicateurs

25. Gestion de l’historique • Constatation : Le concept de temps n’est pas toujours présent dans un système opérationnel. Il est cependant nécessaire dans un système décisionnel.

26. Gestion de l’historique • Constatation : Un cube permet de conserver l’historique des données relativement à un sujet précis. • Mais que faire si l’on a une question imprévue ? • Difficile de créer des cubes si l’on ne connaît pas les questions. • Il nous faut un mécanisme plus générique.

27. Gestion de l’historique • Il faut mettre en place un mécanisme nous permettant d’enregistrer l’état des systèmes opérationnels à un moment x. (Proc photo). • Avec ce mécanisme nous avons le meilleur des 2 mondes. Nous avons une vision plus large qu’avec des cubes sans pour autant renoncer à ceux-ci. • Bien entendu, il s’agit de photos et non d’un film!

28. Structure de l’entrepôt • L’utilisation d’une structure semblable aux tables opérationnelles est possible car nos systèmes opérationnels sont relativement bien intégrés. • Comme nous parlons des « mêmes » structures il est plus facile de comparer avec les acteurs des systèmes opérationnels nos requêtes et nos résultats sans pour autant délaisser le côté temporel des données. • On ne parle pas ici d’une structure de diffusion mais bien d’une structure « d’archivage » de l’information contenue dans les systèmes opérationnels.

29. Structure de l’entrepôt • La structure de l’entrepôt est la suivante :

30. Comparaison et chargement

31. Structure de l’entrepôt • Le chargement de l’entrepôt est fait de la façon suivante :

32. Production des rapports statutaires • Les rapports statutaires sont créés à l’aide de SAS DM, SAS/Assist et Enterprise Guide. • Les procédures sont encapsulées dans des macros afin de faciliter la lecture et la réutilisation. • L’utilisation de macro va faciliter l’intégration dans ETL Studio.

33. Production des rapports statutaires (Exemple) %extraire_condition_emploi(donnees.Imgh_condition_emploi, staging.condition_emploi); %extraire_fractionnement_emploi(staging.condition_emploi, donnees.Imgh_fractionnement_emploi, staging.fractionnement_emploi); ... %i77nb_profs_reguliers_etc(staging.condition_emploi , donnees.Imgh_individu , staging.nb_professeurs_reguliers); ... %consolidation_indicateurs; %produire_tableau_g10;

34. Outils utilisés

35. Expériences acquises à ce jour Les trois principaux facteurs à tenir en compte pour mettre en place un entrepôt de données sont : 1 - Les définitions 2 - Les définitions 3 - Les définitions !!!

36. Expériences acquises à ce jour Les 5 facteurs suivants ont un impact très important sur l’architecture choisie : • Le nombre d’informaticiens disponibles • La fréquence de chargement de l’entrepôt • Les modes de diffusions des résultats • La capacité d’analyse des outils sélectionnés • La courbe d’apprentissage des produits utilisés

37. Expériences acquises à ce jour L’utilisation de traitement encapsulés dans des macros offre les avantages suivants : • Permet de produire des programmes plus faciles à lire et à décortiquer. • Permet de bien isoler les définitions dans des blocs de code réutilisables intégrables dans ETL Studio. • Permet de faire facilement le lien entre la définition GII des indicateurs et le programme correspondant. • Permet de minimiser les « lacunes » de programmation SAS de l’auteur !

38. Expériences acquises à ce jour Notez ici que le présentateur n’avait pas fait de SAS depuis environ 10 ans ! • Avec la version actuelle de SAS incluant le serveur de métadata et les procédures stockées on peut utiliser la puissance d’analyse de SAS et ce même à l’extérieur de l’environnement SAS. • Avec l’ODS il est possible de produire de très beaux rapports et de permettre la diffusion de ceux-ci de multiples façons.

39. Expériences acquises à ce jour Notez ici que le présentateur n’avait pas fait de SAS depuis environ 10 ans ! • Les articles présentés dans le cadre des SUGI sont généralement très bien faits et très instructifs. • Ces articles sont disponibles via le web.

40. Conclusion - Où sommes-nous rendus ? (phase 1) • Mettre en place l’entrepôt. • Automatiser la production des rapports statutaires. • Acquérir et mettre en place les outils d’analyse et de production de rapports ad hoc nécessaires au gens du BPEI. • Diffuser les résultats de façon « statique » via notre site W3.

41. Où sommes-nous rendus ? (phase 2 – à venir) • Diffuser les résultats de façon « dynamique » via ??? (XML – XSLT) • Construire des cubes ? • Produire des analyses plus poussées à l’aide d’outil de forage de données ? • Il y aura à considérer la mise en place des outils mais également l’implantation d’une culture liée à l’utilisation de ces outils.

42. Que nous réserve l’avenir ??? • Nous pensons que l’architecture actuelle sera adéquate d’ici la venue des progiciels de gestion des études et de gestion des ressources humaines. • Cependant les questions d’intégration des données devront être revues en fonction des technologies disponibles (intégration par les données, EAI, SOA, etc.). Il est clair qu’un lien étroit avec les gens du département des systèmes est obligatoire si l’on veut réussir.

43. Questions Richard Massé, M.Sc. Analyste de l’informatique Vice-rectorat exécutif Bureau de planification et d’études institutionnelles (BPEI) Téléphone : (418) 656-2131 poste 4258 Courriel : Richard.Masse@vrex.ulaval.ca MERCI !