Évaluation formative du Plan d'action 2004-2008 d'Industrie Canada (Article 41) et du Développement économique des communautés de langue officielle en situation minoritaire (DÉCLO)

4.0 Méthodologie

4.1 Questions d'évaluation

Cette étude répond aux questions d'évaluation suivantes, telles qu'énoncées dans les Termes de référence de l'évaluation :

• Pertinence : Dans quelle mesure les initiatives (y compris leurs activités, programmes et services) sont-elles toujours pertinentes et appropriées?
• Pertinence : Dans quelle mesure les initiatives (y compris leurs activités, programmes et services) répondent-elles aux besoins des parties intéressées?
• Pertinence : Quels sont les changements proposés pour améliorer l'Initiative?
• Conception/Mise en œuvre : Dans quelle mesure la conception et la mise en œuvre des initiatives sont-elles adéquates? Quelles en sont les forces et les faiblesses? Les aspects qui pourraient être améliorés? Les changements suggérés?
• Conception/Mise en œuvre : Dans quelle mesure la coordination des initiatives est-elle satisfaisante? Comment pourrait-on améliorer les structures décisionnelles?
• Résultats : Dans quelle mesure les initiatives ont-elles atteint ou sont-elles en voie d'atteindre les résultats attendus?
• Résultats : Quels facteurs ont favorisé et/ou ralenti la mise en œuvre/progression des initiatives?
• Résultats : Dans quelle mesure l'Initiative a-t-elle rejoint sa clientèle cible? Augmenté la sensibilisation?
• Leçons retenues : Quelles sont les leçons retenues?
• Rentabilité : Dans quelle mesure l'Initiative a-t-elle été rentable? Y a-t-il des suggestions pour améliorer la rentabilité?

4.2 Méthodes

Les données ayant servi à cette étude ont été recueillies à l'aide des cinq méthodes principales suivantes :

• Un examen des documents et des données de programmes. La liste des documents obtenus et examinés est présentée à l'annexe A de ce rapport;
• Des entrevues avec des représentants clés touchant à toutes les composantes à l'étude (n=39). La liste des personnes interviewées est présentée à l'annexe B;
• Des groupes de discussion composés de cinq ou six représentants des CLOSM dans chacune des villes suivantes : Vancouver, Winnipeg, Toronto, Sudbury, Montréal et Moncton (n=6). Les résumés des groupes de discussion sont présentés à l'annexe C;
• Des entrevues avec les clients du programme Jeunes stagiaires (n=7). La liste des personnes interviewées est présentée à l'annexe D; et
• Le développement de profils de projets pour les Projets pilotes en téléapprentissage et télé-formation (n=5). Les rapports de profils de projets sont présentés à l'annexe E.

Les guides d'entrevues et protocole de groupes de discussion utilisés sont inclus à l'annexe F.

L'annexe G présente un tableau qui relie les diverses méthodes de collecte de données à chacune des questions d'évaluation examinées.

4.3 Limites

Cette évaluation formative comporte un certain nombre de limites quant à son approche méthodologique et à sa portée.

D'abord, les volets de programmation du DÉCLO sont assez clairement circonscrits et donc plus aisément évalués tandis que les volets de programmation ciblés par le Plan d'action (2004-2008) d'IC sont très nombreux (15). Le grand nombre de programmes n'a donc pas permis un examen détaillé de chacun.

Deuxièmement, les méthodes employées dans le cadre de cette étude n'ont fourni qu'un accès indirect aux bénéficiaires ultimes des initiatives, et ce, par l'entremise des représentants des CLOSM. Nous n'avons pu consulter les autres types d'utilisateurs des services fournis par les conseillers/coordonnateurs régionaux (tels que les entrepreneurs, par exemple) parce qu'il n'existe pas de liste d'utilisateurs et qu'il est difficile de concevoir un outil de sondage permettant de consulter un large éventail d'individus, aux besoins variés, et ayant reçu une vaste gamme de services. Nous n'avons pu également consulter les utilisateurs des autres services d'IC tels que Étudiants bien branchés, Ordinateurs pour les écoles, les Centres d'accès communautaires, etc. parce que les bases de données administratives de ces programmes sont rarement construites pour permettre d'identifier les bénéficiaires sur la base de l'appartenance à la communauté linguistique.

En outre, en consultation avec le Comité consultatif pour cette évaluation, nous avons conclu qu'il serait prématuré de tenter de consulter les bénéficiaires ultimes du programme Jeunes stagiaires (les stagiaires), des Projets pilotes en télé-apprentissage et télé-formation (les apprenants), et des nouveaux projets de Francommunautés virtuelles (concours 2005) compte tenu de la trop récente mise en œuvre de ces initiatives et vu l'absence présumée de retombées mesurables, à cette date, de ces activités du DÉCLO.

Également, on a envisagé la possibilité d'effectuer une enquête auprès des organismes identifiés dans la base de données de tous les groupes participant au développement des CLOSM ²³. Cette option a été en fin de compte rejetée parce que cette base de données ne se limite pas aux organismes ayant reçu des fonds d'IC ou ayant participé aux activités ou consultations du Ministère, d'où la difficulté d'estimer leur connaissance du Ministère et leur capacité d'attribuer des résultats aux initiatives évaluées.

Enfin, le programme Francommunautés virtuelles n'a pas fait l'objet d'un examen approfondi dans le cadre de cette évaluation, et ce, en dépit de l'importance des sommes accordées et du fait qu'il est le seul programme d'IC (outre les activités DÉCLO et les sites CommunAction.ca et ProAction41) conçu spécifiquement pour les CLOSM. Il en a été décidé ainsi parce qu'une évaluation spécifique de ce programme est prévue pour 2006-2007.

---

²³ Voir Ronald Bisson et associé.e.s, Ébauche. Rapport descriptif de la base de données de tous les groupes participant au développement des communautés de langue officielle en situation minoritaire, 28 février 2005. (Retour au renvoi 23)