Évaluation finale de l’Initiative de l’industrie de la langue

2.0 Méthodologie/démarche

2.1 Objectifs de l'évaluation finale

L'objectif de ce projet était de mener une évaluation finale de l'IIL pour la période allant de 2003 à 2007. L'évaluation avait pour but d'évaluer les résultats et l'efficacité de l'IIL. Elle répond aux exigences du Secrétariat du Conseil du Trésor selon la politique actuelle en matière d'évaluation de programme et celle sur les paiements de transfert.

L'évaluation a été réalisée par Goss Gilroy Inc. pour le compte de la Direction générale de la vérification et de l'évaluation (DGVE) d'Industrie Canada. L'évaluation a été dirigée par un gestionnaire en évaluation de la DGVE. Un membre de l'équipe d'évaluation de la DGVE a pris part à la collecte et à l'analyse de données pendant le projet. La surveillance du projet a été assurée par un comité directeur de l'étude d'évaluation composée de représentants d'Industrie Canada et d'intervenants clés. Le comité a fourni une orientation générale pour la réalisation du travail.

2.2 Questions abordées dans le cadre de l'évaluation

L'évaluation cherche à répondre aux questions indiquées ci-bas. À la suite de l'engagement de durée déterminée du gouvernement, l'IIL arrivera à échéance le 31 mars 2008 et de ce fait, la question de la pertinence, qui a été couverte dans l'évaluation de mi-parcours de 2006, ne sera pas incluse dans la présente évaluation (voir l'annexe A pour un résumé des résultats de l'évaluation de mi-parcours). Étant donné que l'Initiative vient à échéance, le rapport se limite à la présentation de conclusions tirées des constatations de l'évaluation.

Questions d'évaluation

Réussite

1. L'Association de l'industrie de la langue (AILIA) a-t-elle réussi à se positionner comme association nationale de l'industrie de la langue tant du point de vue des intervenants du gouvernement que de celui de l'industrie?
2. L'AILIA et l'IIL ont-t-ils contribué à l'accroissement de la capacité de l'industrie de répondre à la demande pour ses produits et services?
3. L'IIL a-t-elle contribué à faire connaître davantage aux intervenants de l'industrie les débouchés commerciaux qui existent sur les marchés nationaux et internationaux pour les produits et services de l'industrie de la langue? Le cas échéant, de quelle façon?
4. L'IIL a-t-elle contribué à faire connaître davantage les produits et services de l'industrie aux clients potentiels d'autres secteurs industriels au Canada et à l'étranger?
5. L'IIL a-t-elle contribué à créer des synergies entre les organisations de l'industrie de la langue? Le cas échéant, de quelle façon?
6. L'IIL a-t-elle eu des incidences imprévues?

Rentabilité

7. Quelle était la rentabilité des principaux volets de l'IIL (contribution à l'AILIA, comité directeur et services de secrétariat connexes, programme de subventions et contributions pour l'industrie de la langue, activités de marketing et de positionnement)?

Leçons

8. Quelles leçons peut-on tirer de la conception et la mise en œuvre du programme?

2.3 Approche méthodologique

L'évaluation s'appuie sur des méthodes qualitatives et quantitatives. Les sources d'information pour l'évaluation sont les suivantes.

2.3.1 Entrevues en profondeur

Des entrevues en profondeur, durant entre 30 et 90 minutes chacune, ont été menées pour les fins de l'évaluation. La liste des personnes interviewées a été fournie par le Comité directeur de l'évaluation (voir annexe C). Cette sélection non-aléatoire était acceptable compte tenu du fait que l'évaluation allait également s'appuyer sur un sondage des membres de l'AILIA et des bénéficiaires des contributions. Seize personnes ont été interviewées au total. Les entrevues se sont déroulées auprès des répondants suivants :

• Sept représentants/gestionnaires de programme (dont deux entrevues de groupe);
• Trois membres du comité consultatif;
• Trois représentants d'associations et d'organismes;
• Trois récipiendaires de financement; et
• Deux intervenants externes (d'organismes provinciaux, commanditaires, etc.).

Les entrevues ont été menées en personne, sauf avec les gens à l'extérieur de la région de la capitale nationale qui ont été contactés par téléphone. Toutes les entrevues ont été menées dans la langue officielle de préférence des répondants.

2.3.2 Revue de documents et de données secondaires

Plusieurs documents ont été révisés pour les fins de l'évaluation, dont divers budgets de programme, le Cadre de gestion et de responsabilisation axé sur les résultats, diverses études et rapports de recherche, l'Évaluation formative de l'IIL, comptes-rendus de réunions et plan d'affaires de l'AILIA, etc. (voir Annexe D pour la liste complète). Ces documents ont été utilisés pour établir le contexte de l'Initiative et répondre aux questions d'évaluation. De plus, la revue de document a permis de comprendre les secteurs rattachés à l'industrie de la langue au Canada ainsi que les défis pour cette industrie.

2.3.3 Études de cas

Des études de cas ont été menées pour obtenir des exemples plus approfondis d'entreprises qui ont bénéficié du programme. Le but était essentiellement de comprendre comment et à quel point le programme a aidé les entreprises à conquérir des marchés et à gonfler leurs activités et leurs effectifs. Les cas ont été proposés par les gestionnaires de l'initiative. Cette approche était considérée acceptable considérant les autres méthodes, notamment le sondage, dont l'intention est de donner un portrait plus représentatif des résultats de l'IIL.

Quatre études de cas ont été menées auprès des organisations qui ont reçu une contribution du ministère par la voie du programme. Trois de celles-ci ont été menées auprès d'organisations des principaux secteurs, c'est-à-dire les services de traduction, la formation linguistique et les technologies langagières. Une étude de cas a également été menée auprès de l'AILIA. Celle-ci a permis de mieux comprendre l'évolution de l'AILIA, ses services, ses succès, ses défis et son avenir.

Des discussions avec les représentants du programme ont aidé à déterminer le profil de ces cas. Les cas ont été documentés à partir d'entrevues en profondeur et de revues de documentations. Des données quantitatives ont été collectées dans la mesure du possible. De trois à quatre entrevues en profondeur ont été menées par cas auprès de dirigeants et de cadres d'entreprise (ces entrevues s'ajoutent à celles des entrevues en profondeur). Un guide d'entrevue a servi à cette fin. Ce guide comprenait des questions particulières pour le cas de l'AILIA. Les personnes interviewées ont été choisies suite aux recommandations des responsables de projets.

Chaque cas est présenté dans des rapports séparés. Les cas sont annexés au rapport (voir annexe F).

2.3.4 Sondages auprès des entreprises et des membres

Puisque l'évaluation se penche surtout sur les résultats de l'Initiative, nous avons collecté des informations quantitatives sur sa portée et son impact. Pour ce faire, un sondage électronique a été mené auprès des entreprises qui ont reçu des fonds du ministère et auprès des membres de l'Association. La base du sondage était la liste des membres de l'AILIA et de celle des entreprises ayant reçu une contribution du programme. Pour maximiser le taux de réponse, quelques organisations ont été sondées par téléphone.

Les organisations qui ont soumis une demande dans le cadre du Programme de l'industrie de la langue mais qui n'ont pas bénéficié des fonds du ministère n'ont pas été sondées. Ces dernières ont participé à un sondage lors de l'évaluation mi-parcours de 2005-2006. Puisque les questions de l'évaluation finale sont orientées vers le succès du programme, il a été conclu qu'il ne serait pas utile de sonder une seconde fois ces organisations.

Tous les répondants ont été questionnés sur les impacts des différentes actions de l'Initiative, c'est-à-dire à travers l'AILIA, les contributions reçues du programme et les projets de marketing du programme. Nous avons mesuré entre autres à quel point les entreprises ont haussé leurs effectifs (y compris les indépendants) et à quel point elles ont diversifié leur marché, des indicateurs qui ont été utilisés pour analyser la croissance des entreprises depuis l'intervention. Les questions du sondage ont été adaptées selon le type d'intervention (l'Association, la contribution, les activités du Ministère).

Il est à noter que pour des raisons techniques, le sondage n'a pas été conçu pour mesurer avec précision les impacts économiques des contributions. L'évaluation mi-parcours a tenté de mesurer avec précision ces impacts et a obtenu un taux de réponse très faible à ce sujet. L'explication était la suivante : selon les ententes de contributions, les organisations ayant généré des revenus grâce aux contributions devaient nécessairement rendre au ministère les sommes équivalentes aux revenus^{Note 9}. Pour cette raison, on croit que plusieurs répondants au sondage précédent ont refusé de répondre aux questions liées aux revenus découlant de leur contribution et au sondage en général.

Pour la présente évaluation, nous avons plutôt opté pour la maximisation du taux de réponse en ne demandant pas de questions précises sur les impacts, notamment sur le chiffre d'affaires. En guise d'indicateur d'impacts, nous avons choisi de mesurer la tendance générale des revenus des entreprises et des emplois créés. De ces réponses, nous avons déduit si oui ou non les contributions ont eu un impact positif ou négatif sur les entreprises, en espérant que les autres sources d'information, dont les études de cas, nous permettent d'établir un lien entre les contributions et les impacts commerciaux. On a aussi obtenu d'autres informations telles que le nombre d'étudiants attirés par les écoles de langue grâce aux ententes de contribution. Ces réponses nous ont permis de dégager des estimations d'impacts basées sur d'autres sources d'information.

Échantillonnage et taux de réponse

Comme il s'agissait d'un sondage en ligne, le questionnaire électronique a été envoyé à tous les répondants potentiels, c'est-à-dire les membres de l'AILIA et les organisations ayant reçu des contributions. L'équipe d'évaluation a reçu trois listes de membres de l'AILIA (couvrant trois années), et une liste d'organisations ayant bénéficié du PIL. Voici un tableau résumant les populations d'origines et les échantillons obtenus :

Tableau 7: Échantillonnage et taux de réponse

	Membres de l'AILIA	Organisations ayant reçu des contributions du PIL	TotalNote *
Notes en bas de page * Certains noms apparaissaient sur les deux listes (retour à la référence de note *) ** L'ensemble de la population a reçu au moins un courriel, sauf 43 qui nous ont été retournés car l'adresse courriel était incorrecte. Douze numéros de téléphone étaient également incorrects sur la liste. (retour à la référence de note **) *** La marge d'erreur par sous-secteur (traduction, écoles, technologie) dépasse les 20% dans certains cas. Le lecteur saura lire ces résultats avec une plus grande précaution dans le rapport, notamment lorsque le nombre de répondants est inférieur à 20. (retour à la référence de note ***)
Population d'origine (listes obtenues)	263	114	335
Échantillon obtenu via le sondage (répondants)	77	59	109
Taux de réponseNote **	77/263=29 %	59/114=52 %	109/335=33 %
Marge d'erreur (19 fois sur vingt)Note ***	9,5 %	8,9 %	7,7 %

L'ensemble de l'échantillon se distribuait comme suit :

• Service de traduction : 36 % des répondants (n=39);
• Formation linguistique : 54 % des répondants (n=59);
• Technologie langagière : 19 % des répondants (n=21);
• Autres : 14 % (n=15).

Les autres répondants comprenaient des institutions gouvernementales, des consultants et des entreprises offrant des services linguistiques génériques.

Les répondants ayant bénéficié du PIL avaient le profil suivant :

• Service de traduction : 18 % des répondants (n=11);
• Formation linguistique : 72 % des répondants (n=42);
• Technologie langagière : 20 % des répondants (n=12);
• Autres : 8 % (n=5).

Les répondants membres de l'AILIA avaient le profil suivant :

• Service de traduction : 46 % des répondants (n=35);
• Formation linguistique : 42 % des répondants (n=32);
• Technologie langagière : 18 % des répondants (n=14);
• Autres : 18 % (n=14).

Plusieurs des répondants se sont identifiés à plusieurs secteurs, d'où les pourcentages totalisant plus de 100.

2.3.5 L'analyse de la rentabilité

Une analyse coûts-efficacité et d'efficience a été fait à partir de données financières et des résultats de sondage. Elle compare les coûts financiers du programme, le volume des ententes de contribution et les résultats du programme avec ceux de programmes jugés comparables. L'analyse de la rentabilité s'est donc appuyée essentiellement sur deux ratios, c'est-à-dire le ratio Coûts d'administration en terme de salaires / valeurs des contributions, et ce pour les trois programmes comparés, et le ratio Valeurs des contributions / revenus générés par les contributions. L'information financière et sur les résultats a été obtenue auprès des responsables de programme et du centre d'expertise des subventions et des contributions du ministère du Patrimoine canadien.

Pour les fins de l'analyse, l'IIL a été comparée avec Routes commerciales et le Programme d'aide au développement de l'industrie de l'édition (les deux issus du ministère du Patrimoine canadien). Ces deux programmes ont été sélectionnés pour leurs similarités avec l'IIL : les deux offrent des ententes de contribution à des organisations pour participer à des foires ou événements. Ils offrent aussi du soutien pour des activités de promotion. Le programme de Routes commerciales comporte également un volet recherche.

Bien entendu, la comparaison a ses limites : les programmes prêtent assistance à des industries très différentes, comme on l'explique dans les paragraphes suivants. Les programmes disposent également d'enveloppes budgétaires très différentes au plan des ententes de contribution (les données financières sont présentées plus loin dans le chapitre des résultats), l'IIL disposant d'un budget beaucoup plus restreint que les deux autres programmes.

Les grands paramètres de ces programmes sont présentés à l'annexe G.

2.4 Limites de la méthodologie

Comme toute étude évaluative, cette étude comporte des limites méthodologiques.

Les entrevues en profondeurs comportent des limites par leur nature qualitative et par leur caractère restreint (16 répondants, dont seulement 10 qui sont externes au programme).

Le sondage complète les autres sources d'information grâce au nombre de personnes rejointes. Cependant, ce n'est pas l'ensemble des populations qui ont répondu au sondage, ce qui entraîne une certaine marge d'erreur. L'équipe a réussi à atteindre des taux de réponse satisfaisant notamment en combinant plusieurs méthodes de sondage, c'est-à-dire par Internet et par téléphone. L'échantillon de départ comportait également quelques données périmées ou incorrectes. Pour pallier ce problème, l'équipe a réussi à obtenir de nouvelles coordonnées pour un certain nombre d'organisations en faisant quelques recherches supplémentaires sur Internet et le bottin téléphonique. Tout cela a toutefois entraîné quelques semaines de retard.

Le sondage comporte également des mesures quelque peu imprécises sur les impacts économiques des contributions, pour des raisons expliquées à la section 2.3.4.

L'analyse de la rentabilité a également des limites. L'équipe n'a pas été en mesure d'obtenir des indicateurs de produits ou de performance des activités de recherche, du moins des indicateurs comparables entre les trois programmes pour évaluer le ratio coûts-efficacité ou même coûtsefficience. Bien que l'on connaisse combien ont été investis en recherche, tant en ressources humaines gouvernementales qu'en contrats de recherche, on ne peut comparer l'efficience sur une base commune car les recherches menées par les différents programmes ne sont pas tous de la même nature. L'IIL a produit (ou fait produire) plus de 20 travaux de recherche, mais ce groupe de travaux n'est pas homogène et l'on n'a pas d'idée précise de leur impact sur l'industrie. On aurait pu théoriquement comparer la distribution des documents comme indicateur d'impact des travaux de recherche, mais la distribution des travaux de recherche menés par l'IIL est essentiellement électronique, et les statistiques de téléchargement du site Stratégis pour les documents de recherche n'étaient pas disponibles. Cependant, l'équipe d'évaluation a inclus des questions de sondage portant sur l'utilité des rapports et études de marché de l'IIL, ce qui a procuré une certaine indication de l'impact de ces documents sur l'industrie.

L'analyse de la rentabilité s'est donc appuyée essentiellement sur deux ratios, c'est-à-dire le ratio Coûts d'administration / valeurs des contributions, et ce pour les trois programmes comparés, et le ratio Valeurs des contributions / revenus générés par les contributions. Or seul l'IIL a fait l'objet d'une analyse de ce deuxième ratio, en supposant que l'objectif est d'obtenir un ratio inférieur à 1 (où les revenus générés dépassent les coûts du programme). Nous avons tenu compte de ces limites lors de l'analyse des résultats.

---

Notes en bas de page

1. ⁹ « Dans le cas du PIL, il semble difficile d'obtenir de l'information de la part des bénéficiaires sur l'impact de la contribution financière et ce, sans doute parce qu'il s'agit d'une contribution en partie remboursable dans le cas où des retombées financières sont encourues » (retour à la référence de note 9)