Évaluation finale du Programme d'accès communautaire

3.0 Démarche et méthode

3.1 Démarche générale

L'évaluation a été gérée et menée par la Direction de l'évaluation de la Direction générale de la vérification et de l'évaluation (DGVE) d'Industrie Canada du 1^er mai au 30 septembre 2009. L'entreprise Les Associés de recherche Ekos, retenue en sous-traitance, a fourni des ressources supplémentaires dans le but de mener des entrevues auprès de répondants clés, afin d'obtenir des données pour réaliser l'évaluation. La DGVE a mis sur pied un comité directeur qui a fourni des conseils et de l'orientation tout au long de l'évaluation (voir l'annexe F : Membres du Comité directeur de l'évaluation). L'entreprise externe et la direction du Programme ont fait le point chaque semaine sur les progrès réalisés au chapitre de la collecte, de l'analyse et du rapport des données. Le Comité directeur a également tenu trois réunions durant l'évaluation.

La Direction de l'évaluation a fait la plupart des analyses et des rapports. Elle devait notamment examiner les études et les rapports antérieurs du Programme, en plus de revoir la documentation afin de pouvoir suivre et décrire le niveau d'accès aux technologies de l'information et des communications (TIC) ainsi que l'importance du fossé numérique tout au long du cycle du Programme. La Direction de l'évaluation était chargée de rédiger la présentation des constatations préliminaires, du rapport provisoire et du rapport final, lequel comprenait aussi l'analyse menée par Ekos auprès des répondants clés. La direction n'a pas eu à formuler de recommandations ni à intervenir, puisque les modalités du PAC viennent à échéance le 31 mars 2010.

haut de la page

3.2 Méthode

La matrice d'évaluation du Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) du Programme, daté de mai 2009, a servi à tirer des constatations pour chaque question, chaque sous-question et chaque indicateur de l'évaluation (voir l'annexe B : Matrice d'évaluation). Comme il s'agissait de la deuxième évaluation du PAC, celle-ci portait surtout sur la nécessité et la pertinence du Programme, sur son niveau de succès, sur les progrès qu'il a réalisés dans l'atteinte de ses objectifs et sur son rapport coût-efficacité. Les éléments du PAC entourant la Stratégie emploi jeunesse n'ont pas été abordés dans cette évaluation, mais dans celle de RHDCC.

La méthode consistait à recueillir des données de plusieurs sources. On a notamment passé en revue des documents du gouvernement du Canada, examiné et analysé des données de Statistique Canada, analysé des études antérieures, passé en revue la documentation, examiné et analysé des données administratives, réalisé une analyse de rentabilité et mené un sondage auprès de répondants clés. Des constatations ont été rapportées pour corroborer certaines preuves, le cas échéant.

En tout, plus de 150 documents, études antérieures et sources documentaires ont été examinés (voir la bibliographie à l'annexe E). Toutes les données ont ensuite été compilées dans une matrice de preuves, puis analysées afin de définir les principaux thèmes et de faire des constatations. Des entrevues ont aussi été menées auprès de 26 répondants clés. Ces répondants ont été identifiés, puis catégorisés par la DGVE et la direction du PAC, en consultation avec Ekos. Voici le nombre d'entrevues qui ont été menées pour chaque catégorie de répondants :

• Employés fédéraux (n=14) :
  • Personnel de l'administration centrale d'Industrie Canada (n=6);
  • Personnel régional d'Industrie Canada (n=7);
  • Autre personnel d'Industrie Canada (n=1).
• Intervenants externes et autres employés fédéraux (ne venant pas d'Industrie Canada) (n=12) :
  • Représentants d'autres ministères fédéraux (n=2);
  • Représentants provinciaux (n=6);
  • Organisations non gouvernementales (n=2);
  • Experts des TIC (n=2).

Les données obtenues auprès des répondants clés ont été vérifiées avec eux avant d'être résumées dans un rapport technique distinct (voir également l'annexe C : Liste des répondants clés et l'annexe D : Instruments pour la collecte de données).

haut de la page

3.3 Limites de la méthode

La méthode a été limitée à plusieurs égards. Premièrement, il a été impossible d'obtenir des données sur les résultats des clients, ni des données chronologiques pouvant lier ces résultats aux objectifs du Programme. Un sondage a été mené auprès des clients en 2003, mais il ne comprenait pas de questions préliminaires ni de suivi permettant de déterminer si les utilisateurs du PAC se servaient davantage d'Internet ou s'ils avaient accru leurs connaissances et compétences connexes³. Deuxièmement, les sondages menés en 2005, 2008 et 2009 auprès des administrateurs des centres ont permis d'avoir une idée de la mesure dans laquelle le PAC a aidé les groupes démographiques touchés par le fossé numérique, leur a offert de la formation et leur a permis d'amasser des contributions financières et en nature auprès d'autres sources. Toutefois, les données qu'ils ont générées provenaient des administrateurs mêmes et n'ont pas fait l'objet de vérifications indépendantes. Troisièmement, les entrevues réalisées auprès des répondants clés ont permis d'obtenir de l'information sur la nécessité de poursuivre le Programme, sur sa pertinence et sur son niveau de succès, mais de telles données devaient être pondérées en conséquence si aucune autre preuve ne pouvait les corroborer. Quatrièmement, des efforts considérables ont été déployés pour inclure les plus récentes recherches sur l'accès à Internet et sur son utilisation au Canada, mais on a dû se limiter à celles qui ont été publiées dans la période de l'évaluation, soit du 1^er mai au 30 septembre 2009. Finalement, même si l'objectif principal du Programme est pratiquement resté le même depuis la mise en œuvre de ce dernier en 1995, de nombreux sous-objectifs ont été rajoutés avec le temps. Il s'agit souvent de priorités à court terme se rapportant à l'objectif principal (p. ex., accroître le contenu culturel canadien en ligne). Comme ces sous-objectifs évoluent, l'évaluation a tenté de se pencher sur le niveau de succès du Programme d'après son objectif principal, à savoir offrir un accès public abordable à Internet, à de nouvelles compétences et à des services connexes⁴.

En raison de ces restrictions, l'évaluation n'a pu déterminer adéquatement les résultats intermédiaires et ultimes des activités du PAC. Cependant, un grand nombre de recherches portant sur l'accès à Internet et sur son utilisation au Canada ont permis de mieux analyser la pertinence du Programme et de déterminer s'il est encore nécessaire. Le cadre de référence de l'évaluation a été soumis au Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, afin d'être révisé avant le début de l'évaluation.

---

³ Le Sondage en ligne auprès des utilisateurs de 2003 a déjà été mentionné dans l'Étude d'évaluation du Programme d'accès communautaire, 16 janvier 2004, réalisée par la Direction générale de la vérification et de l'évaluation d'Industrie Canada. (Retour au renvoi 3)

⁴ Voir le Cadre de gestion et de responsabilisation axé sur les résultats pour le Programme d'accès communautaire, Direction générale des applications de l'autoroute de l'information, Industrie Canada, février 2003, ainsi que le Cadre de gestion et de responsabilisation axé sur les résultats pour le Programme d'accès communautaire, Secteur des opérations régionales, Industrie Canada, mai 2009. (Retour au renvoi 4)