Évaluation finale du programme Francommunautés virtuelles — Rapport final

Février 2008

Présenté et approuvé par le CMÉ le 9 juin 2008

Table des matières

• Sommaire
• 1.0 Introduction
• 2.0 Contexte
  • 2.1 Historique
  • 2.2 Profil du programme
  • 2.3 Gestion du programme et gouvernance
    • 2.3.1 Comité consultatif
    • 2.3.2 Équipe du programme
    • 2.3.3 Comité national de sélection
  • 2.4 Financement
  • 2.5 Évaluations récentes
• 3.0 Méthodologie et approche
  • 3.1 Questions d'évaluation abordées
  • 3.2 Méthodes d'évaluation
    • 3.2.1 Rôles et responsabilités
    • 3.2.2 Calendrier et stratégie d'évaluation
    • 3.2.3 Description des lignes d'enquête
  • 3.3 Limites de la méthode
• 4.0 Résultats
  • 4.1 Pertinence
    • 4.1.1 Définition et orientation du programme
    • 4.1.2 Des besoins qui gagneraient à être mieux identifiés
    • 4.1.3 À qui s'adresse Francommunautés virtuelles?
  • 4.2 Degré de succès dans l'atteinte des résultats
    • 4.2.1 Processus de sélection des projets
    • 4.2.2 Accessibilité du programme
    • 4.2.3 Structure de gouvernance
    • 4.2.4 Gestion des concours
  • 4.3 Coût-efficacité
    • 4.3.1 Analyse de besoins des CFA et diffusion d'information
    • 4.3.2 Révision des enveloppes budgétaires
    • 4.3.3 Création de réseaux et partenariats
• 5.0 Conclusion
• Le programme Francommunautés virtuelles ou
  Version PDF (7 Ko, 1 page)

Annexes (Document Distincts)

Note : Les annexes sont disponibles par demande d'accès à l'information

Annexe 1 — Matrice d'évaluation
Annexe 2 — Participants de l'évaluation
Annexe 3 — Analyse des études de cas
Annexe 4 — Liste des documents examinés
Annexe 5 — Liste des personnes rencontrées
Annexe 6 — Guides d'entrevue
Annexe 7 — Questionnaire de sondage

Liste des acronymes

¹Représentent toutes les collectivités francophones et acadiennes (CFA) qu'elles soient minoritaires ou non. Par conséquent, les Communautés de langue officielle en situation minoritaire (CLOSM) sont incluses dans les CFA. (Retour au texte.)

On peut obtenir cette publication sur supports accessibles, sur demande. Communiquer avec la :

Section des services du multimédia
Direction générale des communications et du marketing
Industrie Canada
Bureau 264D, tour Ouest
235, rue Queen
Ottawa (Ontario) K1A 0H5

Tél. : 613-948-1554
Téléc. : 613-947-7155
Courriel : ic.cmb-creative.ic@canada.ca

Autorisation de reproduction

À moins d'indication contraire, l'information contenue dans cette publication peut être reproduite, en tout ou en partie et par quelque moyen que ce soit, sans frais et sans autre permission d'Industrie Canada, pourvu qu'une diligence raisonnable soit exercée afin d'assurer l'exactitude de l'information reproduite, qu'Industrie Canada soit mentionné comme organisme source et que la reproduction ne soit présentée ni comme une version officielle ni comme une copie ayant été faite en collaboration avec Industrie Canada ou avec son consentement.

Pour obtenir l'autorisation de reproduire l'information contenue dans cette publication à des fins commerciales, faire parvenir un courriel à copyright.droitdauteur@tpsgc.gc.ca

Also available in English under the title Final Evaluation for the Francommunautés Virtuelles Program.

N.B. Dans cette publication, la forme masculine désigne tant les femmes que les hommes.

Sommaire

Contexte et objectifs de l'évaluation

La présente évaluation finale du programme Francommunautés virtuelles (FV) a été réalisée par le Groupe-conseil baastel ltée pour le compte de la Direction générale de la vérification et de l'évaluation (DGVÉ) d'Industrie Canada (IC). Depuis 1998, le programme en question appuie financièrement des projets qui visent à répondre aux besoins spécifiques des collectivités francophones et acadiennes (CFA) en matière de participation aux technologies de l'information et des communications (TIC). Tout en tenant compte de son historique, la présente évaluation se concentre sur les activités entreprises entre 2003 et 2007. Elle vise à mesurer le degré de succès du programme eu égard à l'atteinte des objectifs prévus.

Méthode

Pour procéder à l'évaluation, l'équipe d'évaluation et le comité directeur ont privilégié quatre lignes d'enquête. Ainsi, une revue documentaire exhaustive, 31 entrevues avec des intervenants clés, 9 études de cas et un sondage électronique auprès des participants aux concours ont été réalisés.

Principaux constats

Le programme Francommunautés virtuelles a eu des retombées positives sur les communautés. Toutefois, FV comporte plusieurs zones grises dans sa définition, un manque de clarté qui se reflète sur plusieurs volets de sa mise en œuvre.

La mission et les objectifs du programme semblent pertinents, mais ils ne pointent pas toujours dans la même direction. Certains intervenants considèrent essentiel que les projets financés aident au développement ou au maintien de leur compétitivité dans une économie axée sur le savoir, tandis que d'autres insistent sur l'importance de l'objectif de diminution du fossé numérique. Cette dichotomie entre innovation et fossé numérique entraîne une confusion quant à la population ciblée.

En 2003, IC a renouvelé le programme FV en l'intégrant à son Plan d'action pour les langues officielles. Le programme cependant vise non pas les Communautés de langue officielle en situation minoritaire (CLOSM) à proprement parler, mais bien l'ensemble de la francophonie canadienne, une incohérence soulignée dans les entrevues et la revue documentaire. Ainsi, s'il est vrai que le programme FV joue un rôle important dans les efforts d'IC pour rencontrer ses engagements vis-à-vis des CLOSM², cet effort est limité par le fait que FV ne s'adresse pas à elles exhaustivement ou exclusivement.

Faute de données suffisantes sur le sujet, il est impossible de savoir si le programme FV répond aux besoins exprimés par les CFA en situation minoritaire. L'analyse des données révèle que le retard qu'accusaient les Québécois a considérablement diminué, en partie grâce au programme FV. Ceci dit, les intervenants clés et les bénéficiaires ont signalé d'autres besoins, notamment en matière de formation sur les TIC, d'innovation et de soutien financier et technique pour le maintien des sites Internet.

L'évaluation met aussi en évidence que le programme a évolué dans les dernières années. Afin de mériter un pointage élevé, les demandes doivent, de plus en plus, être impeccables. De plus, l'analyse de la distribution des projets indique que certaines régions sont sous-représentées. Ce faisant, l'équité interprovinciale n'est plus garantie et l'objectif de normalisation de l'utilisation des TIC à l'échelle canadienne est mis en veilleuse, au profit d'ambitions technologiques plus poussées.

Il est difficile de mesurer l'effet et l'impact des projets à moyen et long terme. La plupart des indicateurs qui se retrouvent dans les rapports finaux des projets réfèrent davantage aux résultats immédiats qu'aux résultats intermédiaires et ultimes. Cependant, les lignes d'enquête permettent de ressortir certains résultats. Notamment, le programme a contribué à la création de 46 sites Web et ils étaient toujours actifs au moment de l'évaluation. Le financement a aussi servi à la création de nouveau contenu en français pour 203 sites. Le sondage mené dans le cadre de l'évaluation révèle que plus de 3 000 personnes ont reçu de la formation sur les TIC. Ceci permet de croire qu'il y a eu un développement considérable au niveau du renforcement des capacités dans les CFA en matière de TIC.

Le programme Francommunautés virtuelles a pris fin le 31 mars 2008. Le rapport d'évaluation ne contient aucune recommandation en raison de ce fait, ni de plan d'action de la part de la gestion. La réponse de la gestion a confirmé son accord avec les constatations et conclusions de l'évaluation.

²Mis à part le Programme Jeunes stagiaires, FV est le seul programme d'IC. Il existe aussi d'autres initiatives : coordonnateurs régionaux (liaison, communications et avis-conseils) ainsi que projets-pilotes de téléformation et de téléapprentissage. (Retour au texte.)

1.0 Introduction

La présente évaluation finale a été réalisée par le Groupe-conseil baastel ltée pour le compte de la Direction générale de la vérification et de l'évaluation (DGVÉ) d'Industrie Canada (IC). Elle a pour objet le programme Francommunautés virtuelles (FV), par lequel le gouvernement du Canada contribue financièrement à la réalisation de projets dans le but de répondre aux besoins spécifiques des collectivités francophones en matière de participation aux technologies de l'information et des communications (TIC).

La présente évaluation se concentre sur les activités entreprises entre 2003 et 2007, mais tient compte également de tous les changements faits au programme depuis sa création en 1998. Elle vise, d'une part, à mesurer le degré de succès du programme eu égard à l'atteinte des objectifs prévus et, d'autre part, à fournir aux gestionnaires du programme l'information et les éléments objectifs propres à la prise de décision tout en répondant aux exigences du Secrétariat du Conseil du Trésor (SCT) en matière d'évaluation du rendement. L'évaluation répond également à la Politique d'évaluation et la Politique sur les paiements de transfert.

De manière générale, l'évaluation devrait permettre d'aider les gestionnaires de programme à concevoir dès le départ de meilleurs programmes, politiques et initiatives ainsi qu'à fournir périodiquement des évaluations de l'efficacité des programmes ou des politiques, des répercussions intentionnelles ou fortuites et des autres méthodes permettant d'obtenir les résultats attendus. À la suite de l'engagement

À la suite de l'engagement de durée déterminée du gouvernement, le programme FV arrivera à échéance à compter du 31 mars 2008 et de ce fait, le rapport se limite à la présentation de conclusions tirées des constatations de l'évaluation.

2.0 Contexte

2.1 Historique

Le programme FV a vu le jour en 1998 avec le lancement, par le gouvernement canadien, d'un programme-pilote visant à répondre directement aux besoins des collectivités francophones et acadiennes (CFA) du pays en ce qui a trait aux TIC. À l'époque, des défis particuliers existaient quant à la participation des francophones aux TIC, tant au Québec qu'à l'extérieur du Québec. En effet, il existait des lacunes quant au contenu en français sur Internet et à la participation des CFA aux nouvelles TIC³.

En 2000, le projet-pilote a fait l'objet d'une évaluation formative positive, si bien que l'année suivante, dans le cadre de la stratégie Culture canadienne en ligne, IC et Patrimoine canadien (PCH) ont conclu une entente interministérielle pour la poursuite du programme.

En 2002, conformément à l'article 41 de la Loi sur les langues officielles, le gouvernement du Canada s'est engagé à améliorer la vitalité des communautés de langue officielle en situation minoritaire (CLOSM) en favorisant leur développement socioéconomique et culturel. Le gouvernement s'est aussi engagé à travailler à la mise en œuvre d'un plan d'action, lequel a vu le jour en 2003.

En mars 2003, le gouvernement a inclus le programme FV dans son nouveau Plan d'action pour les langues officielles. En décembre 2003, un concours couvrant les années financières 2003–2005 a permis de financer plusieurs nouveaux projets. Par la suite, le programme a lancé d'autres concours (2005–2007 et 2006–2008), mais cette fois sans la participation financière de PCH.

2.2 Profil du programme

Le programme FV vise à appuyer des projets spécifiques de langue française qui sont innovateurs et qui répondent aux besoins exprimés par les CFA du Canada en matière d'accès à l'inforoute en français ainsi que d'acquisition d'habiletés et de connaissances liées aux TIC. Il tente également de favoriser le développement et la mise en réseau de ressources informatiques pour l'accès à distance, au nom du développement socioéconomique et communautaire culturel ayant un impact direct sur les CFA du Canada.

Plus spécifiquement, les objectifs du programme FV sont les suivants :

• encourager le développement et l'utilisation des TIC dans les CFA de tout le pays afin de contribuer à réduire le fossé numérique au Canada;
• créer et promouvoir des réseaux de sites Web en accentuant la coopération et le partenariat au sein des organismes francophones et acadiens du Canada dans le but de contribuer au développement socioéconomique et culturel de leurs collectivités.
• élaborer des applications, des contenus et des services en français pour Internet et les rendre visibles et accessibles par l'entremise de grands portails canadiens, y compris les portails gouvernementaux.

Les résultats ultimes du programme sont : favoriser la participation des CFA du Canada à l'économie du savoir; rehausser leur qualité de vie et leur croissance économique grâce à l'apprentissage et à l'utilisation des TIC; ainsi que renforcer le partenariat par les échanges de ressources, de savoirs, d'expertises et de compétences.

En 2005, le Conseil consultatif national chargé de revoir les demandes de propositions financières pour l'année 2005–2006 a décidé de se rapprocher davantage du mandat d'IC, qui consiste à aider les Canadiens à être plus productifs et concurrentiels dans l'économie du savoir et à améliorer ainsi le niveau et la qualité de vie dans le pays. Il a donc demandé à IC de s'assurer que le programme favorise les projets qui soutiennent des initiatives de développement économique.

Depuis sa création en 1998, le programme a appuyé la réalisation de 203 projets, pour un montant total de 16 013 987 $. Le présent rapport se penche sur les trois derniers concours lancés par le programme, en 2003–2005, 2005–2007 et 2006–2008 respectivement. Pour ces trois concours, les projets soumis ont été sélectionnés par un comité chargé de les évaluer en fonction d'un ensemble de critères de mérite préétablis (voir 2.3.3). Afin d'être admissible, le requérant devait être un organisme sans but lucratif (OSBL) canadien, être en activité depuis au moins un an et avoir les compétences et les capacités requises pour gérer et livrer son projet. Les requérants pouvaient recevoir un financement ne dépassant pas 50 p. 100 des coûts de projet admissibles, jusqu'à concurrence de 75 000 $ pour des projets locaux ou régionaux dont la durée maximale est de neuf mois (volet A) ou jusqu'à concurrence de 250 000 $ pour des projets nationaux dont la durée est de quatorze mois (volet B). Les projets financés ont exploité une multitude de thèmes conformes aux intérêts de tous les francophones, notamment le tourisme, le commerce, l'économie, l'éducation, la santé, l'actualité et les médias. La moyenne des contributions pour la période 2003–2008 est de 101 445 $ et la valeur totale est de 9 434 381 $.

2.3 Gestion du programme et gouvernance

Le programme FV est géré par la Direction générale des applications de l'autoroute de l'information (DGAAI) d'IC, qui est responsable de sa mise en œuvre. Il comprend trois parties : un Comité consultatif; une équipe de programme; et un Comité national de sélection.

2.3.1 Comité consultatif

Un Comité consultatif, composé de 8 à 12 membres indépendants du gouvernement, représente l'ensemble des CFA du Canada afin que celles-ci puissent participer pleinement à leur développement économique communautaire (DEC) dans le domaine des TIC en français.

Le Comité présente, au besoin, des conseils sur différents aspects de l'élaboration des politiques ainsi que de la planification, de la mise en œuvre, de l'évaluation et du suivi du programme FV. Ses membres, désignés par le programme, proviennent de toutes les régions du Canada. Ces personnes veillent au caractère démocratique soutenu de la prise de décision; ils sont objectifs, transparents, crédibles et assurent leur entière confidentialité lors des rencontres avec IC.

L'actuel Comité consultatif du programme FV est formé de dix personnes, et ses membres sont nommés jusqu'à la fin du programme, prévue pour mars 2008.

2.3.2 Équipe de programme

Les membres de l'équipe d'IC possèdent une connaissance approfondie du programme FV et une expérience de l'élaboration des politiques et de la gestion en rapport avec ce dernier. Engagés à plein temps dans le programme, ils offrent une connaissance du milieu francophone communautaire au Canada. L'équipe du programme compte sept personnes, dont un directeur, un gestionnaire, quatre agents de projet⁴ et un commis (occasionnel).

IC est tenu de prendre en considération les recommandations émises par le Comité consultatif en ce qui concerne la mise en œuvre du programme FV et d'informer régulièrement le Comité consultatif de ses activités. Réciproquement, le gestionnaire du programme a la responsabilité de solliciter l'opinion du Comité consultatif concernant différents aspects de l'élaboration des politiques ainsi que de la planification, de la mise en œuvre, de l'évaluation et du suivi du programme. Dans le contexte de l'article 41 de la Loi sur les langues officielles, IC doit aussi consulter d'autres ministères responsables du dossier des langues officielles, afin de favoriser les échanges entre les divers représentants fédéraux⁵.

Avec l'aide de son Comité consultatif, le programme s'assure de voir au bon déroulement des activités et, surtout, de voir à ce que les projets financés reflètent les besoins et réalités des collectivités en matière de développement de contenus, d'applications et de services en français pour Internet.

2.3.3 Comité national de sélection

Le Comité national de sélection est chargé d'évaluer les propositions de projet en fonction d'un ensemble de critères de mérite définis à l'avance. Il est généralement constitué de 10 membres⁶ du Comité consultatif, qui acceptent ponctuellement de joindre ses rangs. En outre, depuis le concours 2003–2005, le Comité consultatif demande que le Comité national compte un groupe d'experts dont la tâche consiste à évaluer les projets. Ces experts sont des spécialistes du domaine des TIC qui connaissent bien les CFA du Canada et leurs réalités sur le plan des TIC. Ils proviennent de toutes les régions du Canada et sont nommés pour la période de l'évaluation seulement. Tous sont indépendants du gouvernement.

2.4 Financement

Entre 1998 et 2008, 20 millions de dollars ont été investis dans les CFA afin que celles-ci puissent non seulement accéder à du contenu de qualité en français, mais aussi augmenter leurs compétences en matière de développement et d'utilisation des technologies de pointe. L'actuel financement du programme prendra fin le 31 mars 2008. Les données sur le financement de 20 millions de dollars octroyé depuis 1998 sont fournies au tableau 1; celles sur les frais d'exploitation et d'entretien et les salaires le sont au tableau 2, tandis que le nombre et la valeur des ententes de contribution conclues à la suite des trois derniers concours sont présentés au tableau 3.

2.5 Évaluations récentes

Au cours des dernières années, un certain nombre d'études se sont penchées sur l'amélioration continue du programme FV. Ces études visaient à rendre compte, entre autres, de la raison d'être du programme, de la qualité de la conception et de l'exécution, des progrès accomplis ainsi que de la rentabilité et des résultats obtenus. Le programme a également été inclus dans l'évaluation de l'initiative Culture canadienne en ligne (conduite par PCH en 2003) ainsi que dans l'évaluation de l'article 41 de la Loi sur les langues officielles et du développement économique des communautés de langue officielle en situation minoritaire (DECLO) (conduite par IC en 2005–2006). Voici un bref aperçu des résultats obtenus dans le cadre de ces études :

• Culture canadienne en ligne — Le contenu francophone sur Internet a augmenté à la suite de la mise en œuvre du programme. Toutefois, la production de nombreux rapports est une source d'insatisfaction pour les bénéficiaires des projets.
• Article 41 et DECLO — Le programme FV est généralement apprécié et bien connu des représentants des CLOSM. Parmi les retombées positives observées, notons l'effet de levier économique et social ainsi que le développement des capacités des organismes des CLOSM. Cependant, du point de vue des gestionnaires à IC, la pertinence du programme est mitigée; certains le questionnent alors que d'autres considèrent qu'il doit être poursuivi, pourvu qu'il évolue en fonction des besoins des communautés.

³Au fil des ans, plusieurs rapports ont documenté l'existence de telles lacunes, dont l'étude de Donald J. Savoie, Collectivités minoritaires de langues officielles (publiée en 1998) et l'étude de la Commissaire aux langues officielles, Le français sur Internet : au cœur de l'identité canadienne et de l'économie du savoir (déposée en mars 2002). Ce dernier document a conclu que les Canadiens et Canadiennes francophones étaient 16 p. 100 moins nombreux que leurs concitoyens anglophones à utiliser Internet, et que selon la tendance ce fossé numérique pourrait s'accroître. (Retour au texte.)

⁴Un agent de développement est en congé indéterminé et un autre assume également les fonctions de chef d'équipe. (Retour au texte.)

⁵Source : Francommunautés virtuelles, consultée le 28 juin 2007. (Retour au texte.)

⁶Le nombre de membres dépend des besoins et du temps alloué pour faire les évaluations de propositions. (Retour au texte.)

3.0 Méthodologie et approche

3.1 Questions d'évaluation abordées

Les questions d'évaluation abordées par la présente étude se retrouvent dans la matrice d'évaluation disponible à l'annexe 1. Elles concernent la pertinence du programme, sa conception, sa prestation et son exécution de même que l'efficacité et la rentabilité.

3.2 Méthodes d'évaluation

3.2.1 Rôles et responsabilités

La réalisation du mandat a fait appel à la participation de l'équipe d'évaluation de Baastel, du groupe de travail de l'évaluation et du Comité directeur pour l'évaluation. L'annexe 2 dresse la liste des membres pour chaque partie et précise leurs responsabilités respectives au regard du processus d'évaluation.

3.2.2 Calendrier et stratégie d'évaluation

La collecte et l'analyse des données nécessaires à la réalisation du mandat ont eu lieu entre juin et novembre 2007, conformément au plan de travail final produit par baastel ltée et approuvé par IC. Dans la mesure du possible, les renseignements recueillis auprès des différentes sources ont fait l'objet de recoupements, de manière à fonder les constats sur une solide triangulation de l'information. Pour chaque ligne d'enquête de l'étude, l'équipe a produit une matrice sommaire ou des fiches reprenant les questions d'évaluation, afin de compiler les résultats et comparer les données provenant des différentes sources d'information (voir les fiches des études de cas à l'annexe 3). Les éléments ainsi dégagés ont servi à la préparation d'une liste de constats préliminaires, dont une version préliminaire a été soumise au Comité directeur pour commentaires. À partir des constats et des commentaires recueillis, l'équipe d'évaluation a procédé à la rédaction du présent rapport.

3.2.3 Description des lignes d'enquête

Revue documentaire et revue de littérature

Pour étoffer sa connaissance du programme, l'équipe d'évaluation a examiné un large éventail de documents, dont la plupart lui ont été fournis par IC. Cet examen a notamment permis d'analyser la structure de gouvernance et de mise en oeuvre du programme FV, la correspondance, les rapports d'analyse et d'activités, le rôle des différents intervenants, les projets financés, les répercussions prévues à court, moyen et long termes ainsi que les résultats obtenus à la lumière des rapports de projet. De plus, l'équipe a procédé à une revue de littérature exhaustive, de manière à recueillir une foule d'informations concernant les CFA et leur utilisation des TIC, notamment à partir de rapports publiés dans le cadre d'évaluations antérieures connexes. La liste complète des documents examinés pour ces activités apparaît à l'annexe 4.

Entrevues avec des intervenants clés

Comme l'indique le tableau 4, l'équipe a eu des entretiens de personne à personne ou par téléphone avec une série d'intervenants clés. Au total, 31 personnes ont ainsi été choisies avec l'aide d'IC (voir la liste des intervenants à l'annexe 5 ainsi que les deux guides utilisés pour consulter ces derniers à l'annexe 6).

Études de cas

L'équipe d'évaluation a complété neuf études de cas approfondies afin d'évaluer les retombées des projets dans la communauté, d'en tirer des leçons et d'identifier les facteurs qui assurent la viabilité des projets de même que l'optimisation des ressources.

Afin que les observations tirées des études de cas s'appliquent au programme dans son intégralité, baastel ltée et IC se sont assurés que l'échantillon soit aussi représentatif que possible de l'ensemble des projets. La population de projets à tester était très hétérogène : 66 projets provenant de deux périodes différentes (voir le tableau 5)⁷.

Les projets différaient par leur volet, leur province d'origine, leur secteur d'activités principal et le niveau d'expérience de leur promoteur en matière d'organisation et de gestion. Compte tenu de tous ces critères, baastel ltée et IC ont retenu neuf projets pour les études de cas. Une proportion significative d'entre eux (six sur neuf) relève de la période 2003–2005; ainsi, l'échantillon contient une représentation plus importante de projets relativement avancés dans leur exécution.

Sondages par voie électronique

Autant pour recueillir l'opinion des bénéficiaires du programme FV que de ceux dont la demande a été rejetée, l'équipe d'évaluation a développé et distribué un sondage à 218 organisations ayant soumis un projet lors des concours 2003–2005, 2005–2007 et 2006–2008. Après avoir effectué un pré-test auprès de deux organismes, l'équipe a envoyé, par courriel, un lien électronique pour remplir le sondage en ligne. Ce dernier était interactif, en ce sens qu'il comportait un tronc commun assorti de sections visibles ou invisibles, selon les réponses des participants. Le sondage a servi de méthode de collecte de données quantitatives importantes pour évaluer certains résultats atteints par le programme et pour corroborer certaines observations découlant des autres méthodes de collecte. En tout, 92 organismes ont accepté de remplir le sondage, ce qui correspond à un taux de réponse de 42 p. 100.

3.3 Limites de la méthode

Parmi les principaux défis auxquels a fait face l'équipe d'évaluation, mentionnons les suivants :

• La collecte de données a eu lieu durant la période estivale, de sorte que le taux de réponse aux courriels envoyés aux intervenants sollicités en entrevue a été initialement très faible. Par la suite, l'équipe a opté pour une approche plus personnalisée : en plus des courriels, elle a procédé à des appels individuels, une stratégie qui a porté fruit.
• L'indisponibilité de certains membres du Comité consultatif et du groupe d'experts a fait obstacle à la conduite de toutes les entrevues prévues. En fin de compte, trois entrevues ont été carrément annulées à la suite d'une consultation avec le groupe de travail, qui a jugé suffisantes la quantité et la qualité d'information obtenues lors des autres entrevues.
• Le manque de documentation sur l'utilisation des TIC par les CFA hors Québec n'a pas permis de comparer la situation qui prévalait au début du programme avec celle d'aujourd'hui. Par contre, plusieurs documents seront bientôt disponibles et pourraient être utiles à IC, dont les profils socioéconomiques d'IC et le rapport de recherche de Statistiques Canada⁸.
• Le lancement du sondage a souffert d'un léger retard causé par des problèmes d'ordre technologique et par la complexité du questionnaire interactif. Il a fallu deux rappels, une révision de certaines adresses électroniques et un prolongement de la période du sondage pour obtenir un taux de réponse satisfaisant. D'autre part, la compilation et l'analyse des données ont été ardues, étant donné la longueur et la complexité du questionnaire. Ceci a eu pour effet d'affaiblir la représentativité statistique pour plusieurs questions du sondage en raison du faible nombre de réponses. C'est pourquoi il n'a pas été possible d'établir de corrélations statistiques par rapport à certaines variables indépendantes (par exemple : province d'origine de l'organisation) et ce, pour l'ensemble des questions du sondage.

Les stratégies utilisées par l'équipe d'évaluation, notamment le recours systématique à la triangulation, ont permis de restreindre les retombées de ces limites, de sorte que l'équipe est confiante que le présent rapport communique une information valide et fiable.

⁷Les projets du concours 2006–2008 ne font pas partie de la population à l'étude pour les études de cas, afin d'avoir une meilleure idée des retombées des projets. (Retour au texte.)

⁸Enquête sur la vitalité des minorités de langue officielle. Voir : Enquête sur la vitalité des minorités de langue officielle . (Retour au texte.)

4.0 Résultats

4.1 Pertinence

Cette section couvre essentiellement la raison d'être du programme, en abordant les questions suivantes :

• Dans quelle mesure le programme s'insère t-il dans les objectifs stratégiques d'Industrie Canada?
• Dans quelle mesure le programme joue-t-il un rôle dans les efforts d'IC pour rencontrer ses engagements vis-à-vis des communautés de langue officielle en situation minoritaire, en vertu de la Loi sur les langues officielles?
• Dans quelle mesure est-ce que FV répond aux besoins exprimés par les collectivités francophones et acadiennes en matière de TIC?

4.1.1 Définition et orientation du programme

La mission et les objectifs du programme semblent pertinents, mais ils sont larges et ambitieux, et ne pointent pas toujours dans la même direction. En conséquence, les intervenants comprennent différemment les objectifs, ce qui influe sur la définition qu'ils se font de la population ciblée. En effet, certains intervenants considèrent essentiel que les projets financés par le programme aident leurs membres à développer ou maintenir leur compétitivité dans une économie axée sur le savoir, ce qui les pousse à croire que le programme FV doit appuyer de gros projets novateurs, gérés par des experts en TIC. Par contre, d'autres intervenants insistent sur l'importance de l'objectif de diminution du fossé numérique, donc de normalisation de l'utilisation des TIC à l'échelle canadienne. À leurs yeux, les organisations ayant le moins d'expertise (souvent les petites organisations et celles en région éloignée ou rurale) sont celles que le programme devrait appuyer⁹. Cette dichotomie entre innovation et fossé numérique entraîne une confusion quant à la population ciblée, ce qui par ricochet se reflète par une interprétation différente des critères de sélection.

Le manque d'orientation claire du programme s'observe également dans la sphère d'intervention du programme FV. Les critères de sélection ne sont pas restrictifs, ce qui a pour effet de cibler une population hétérogène composée de différents types d'organismes : organismes communautaires, institutions scolaires, hôpitaux, etc. Ceux-ci interviennent dans divers secteurs qui sont regroupés en douze catégories dans le diagramme de la figure 1. Devant une telle diversité, les projets ne se classent pas tous dans la sphère d'intervention privilégiée à IC¹⁰, d'où la difficulté qu'éprouve IC à justifier l'existence du programme en son sein. Pour tenter de régler le problème, lors des deux derniers concours, IC a insisté pour que les projets respectent un critère de développement économique plutôt que socioéconomique, mais sans définir clairement le changement souhaité. Ce faisant, malgré la recommandation d'IC de mettre l'accent sur ce critère, la plupart des projets ne concernaient pas directement le développement économique (voir la figure 1). En effet, même si elle a augmenté, la proportion des projets classés dans le secteur économie reste faible (5 p. 100 pour 2003–2005, 11&nbspp. 100 pour 2005–2007 et 13 p. 100 pour 2006–2008). Cela s'explique, d'abord, par l'absence d'explication claire; les intervenants ont donc interprété la nouvelle consigne à leur façon. Ensuite, la méthode de sélection des projets n'a pas été modifiée pour donner préséance à ce critère de développement économique parmi les critères quantitatifs: la grille de sélection des projets y accorde seulement 30 sur 160 ou 180 points (volets A et B)¹¹.

Figure 1 : Répartition des montants alloués par secteur

Longue description pour la figure 1.

4.1.2 Des besoins qui gagneraient à être mieux identifiés

Faute de données suffisantes sur le sujet, il est impossible de savoir si le programme FV répond aux besoins exprimés par les CFA en situation minoritaire. Il y aurait donc lieu d'examiner les recherches et les consultations pour connaître la situation actuelle des TIC et pour cerner les besoins actuels présents dans les CFA hors Québec.

Les résultats de certaines études en cours pourraient s'avérer très utiles, notamment ceux des études menées par les provinces, les profils socioéconomiques d'IC et le rapport de recherche de Statistiques Canada sur la vitalité des minorités de langue officielle. Les données existantes offrent des pistes sur l'évolution des TIC au Canada et au Québec.

• Selon l'Évaluation du Plan d'action 2004–2008 d'IC et du DECLO (p. 28), les besoins des CLOSM comprennent : la promotion régionale, la rétention des jeunes, la reconnaissance par IC du rôle économique des organismes communautaires ainsi que l'amélioration de l'accessibilité des programmes d'IC pour ces organismes.
• Au Québec, on note une nette amélioration de la connectivité et de l'utilisation d'Internet dans les six dernières années, de sorte que le fossé numérique a considérablement diminué. En effet, la proportion des internautes québécois utilisant Internet a doublé entre 2000 et 2006, passant de 34 p. 100 à 68 p. 100, ce qui rejoint à toutes fins pratiques la moyenne canadienne¹². Selon l'ECUI (Enquête canadienne sur l'utilisation d'Internet), 83 p. 100 de ceux qui cherchent de l'information en français ont déclaré l'obtenir, ce qui témoigne de l'accessibilité du contenu en français sur Internet¹³. Selon une autre étude, en novembre 2006, 71,5 p. 100 des adultes québécois ont utilisé Internet au moins une fois par semaine, alors que cette proportion était de 39,7 p. 100 en 2000. Pour l'ensemble de l'année, la proportion atteint 65,8 p. 100 au Québec, contre 67,5 p. 100 pour l'ensemble du Canada¹⁴.
• Quant à la création de contenu en français, les entrevues ont recensé deux points de vue divergents. Certains intervenants jugent que le besoin de développer du contenu en français était et sera toujours présent, car le français ne peut livrer concurrence à l'anglais. D'autres croient que le fossé numérique a suffisamment diminué pour que cet objectif soit dépassé. Le sondage NETendances menée par le Centre francophone d'informatisation des organisations indique qu'en 2007, 58 p. 100 des internautes québécois sondés naviguaient majoritairement sur des sites francophones, tandis que 17% naviguait de façon équivalente dans les deux langues, le français et l'anglais. En l'an 2000, moins de la moitié des gens (47 p. 100) utilisaient habituellement des sites en français¹⁵.
• La technologie a elle aussi évolué pour devenir de plus en plus accessible. Selon une enquête réalisée auprès de 70 organismes communautaires francophones¹⁶, Internet est un outil à la portée des organismes communautaires par son coût raisonnable et sa facilité d'usage. Ainsi, la majorité des sites des 70 organismes interviewés leur avaient coûté moins de 5 000 $. Par ailleurs, cette même enquête pancanadienne a soulevé que, dans la majorité des cas, la création et la mise à jour d'un site Web ne coûte pas cher et est accessible à la majorité des organismes. Cependant, certains sites créés à fort coûts ont du mal aujourd'hui à en assurer le maintien face à la constante évolution des TIC¹⁷. Ce besoin d'accroître la durée du financement a été validé par les questions ouvertes du sondage (améliorations souhaitées), les études de cas et les entrevues téléphoniques réalisées par l'équipe d'évaluation. En outre, les intervenants clés et les bénéficiaires ont signalé d'autres besoins, notamment en matière de formation sur les TIC, d'innovation et de soutien financier et technique pour le maintien des sites Internet.

4.1.3 À qui s'adresse Francommunautés virtuelles?

En 2003, IC a renouvelé le programme FV en l'intégrant à son Plan d'action pour les langues officielles. Or, le programme vise non pas les CLOSM à proprement parler, mais bien l'ensemble de la francophonie canadienne, une incohérence soulignée dans les entrevues et la revue documentaire. Or, les organisations ont des capacités et des besoins différents selon qu'ils soient en situation minoritaire ou majoritaire. Ainsi, s'il est vrai que le programme FV joue un rôle important dans les efforts d'IC pour rencontrer ses engagements vis-à-vis des CLOSM¹⁸, cet effort est limité par le fait que FV ne s'adresse pas à elles exhaustivement ou exclusivement.

Le besoin semble s'avérer plus important pour les communautés de langue officielle en situation minoritaire que pour celles en situation majoritaire. D'ailleurs, lors des entrevues, la plupart des intervenants ont justifié la raison d'être du programme en énumérant ses impacts sur les CFA en situation minoritaire : sortie de l'isolement, promotion de la communauté, réseautage, connexion au reste du pays, etc. Étant donnée l'absence de données suffisantes, il est impossible de conclure sur les besoins des CLOSM de langue anglaise, ni sur ceux plus spécifiques des CFA en situation minoritaire.

4.2 Degré de succès dans l'atteinte des résultats

Cette section se penche sur les questions touchant la prestation et l'exécution du programme FV, notamment l'accessibilité de ce dernier, le processus de sélection, la structure de gouvernance, la gestion des concours et l'atteinte des résultats. Elle tente de répondre aux questions suivantes :

• Le programme a-t-il contribué à positionner avantageusement les collectivités francophones et acadiennes dans l'ère numérique et dans l'utilisation d'Internet et des TIC?
• A-t-on observé des impacts non prévus liés à l'approche de mise en œuvre?
• Dans quelle mesure le programme FV a-t-il été conçu de manière à optimiser les objectifs et résultats?
• Dans quelle mesure le programme FV a-t-il réussi à atteindre son auditoire de communautés francophones et acadiennes?
• Dans quelle mesure les services de langue française offerts dans le cadre des projets supportés par FV sont-ils utiles aux francophones et Acadiens?
• Dans quelle mesure le programme FV a-t-il contribué à la création, diffusion et utilisation continue des sites Internet, services et applications électroniques en langue française?
• Dans quelle mesure le programme a-t-il connu du succès en termes d'effet de levier aux fins d'autres sources de financement?

4.2.1 Processus de sélection des projets

Un programme qui comporte des contours vagues et flous peut quand même fonctionner, mais donnera de meilleurs résultats si une certaine flexibilité est privilégiée lors de sa mise en œuvre. Or, dans le cas du programme FV, cette flexibilité s'est peu à peu atténuée, affaiblissant la synergie qui prévalait entre les intervenants. Cette perte de flexibilité s'explique par un changement important : jusqu'au concours 2003–2005, la rencontre finale du Comité national de sélection était présidée par le représentant du Comité consultatif qui s'assurait, d'une part, que les projets choisis respectent les critères et l'équité entre les provinces et les territoires et, d'autre part, que les requérants aient la capacité de mener à bien leur projet. Lors de ce processus, l'échange entre les membres des comités permettait un dialogue et une synergie qui allaient audelà des points alloués, ce qui accordait une certaine souplesse dans le choix final des projets. Ce processus fournissait également à IC une autre grille de lecture dans le domaine des TIC et sur les spécificités des régions. Toutefois, à la suite de coupures budgétaires, le processus a été révisé en faveur d'une simple téléconférence présidée par un consultant externe. Depuis ce temps, les discussions portent exclusivement sur les projets dont le pointage affiche un écart-type élevé, c'est-à-dire les projets faisant l'objet d'évaluations passablement divergentes. Selon maints intervenants clés, ce nouveau processus esquive la valeur ajoutée du dialogue, de l'échange et de la synergie retrouvés lors de la rencontre en personne. De fait, il contribue à rendre plus austère le fardeau des membres du comité de sélection, dont plusieurs jugent la charge de travail volumineuse, d'autant plus qu'ils n'obtiennent que peu de reconnaissance en échange.

La sélection est menée par des membres compétents et représentatifs des différentes régions et secteurs du Canada, et elle repose maintenant presque exclusivement sur le formulaire d'évaluation de projets qu'ils remplissent. Si plusieurs reconnaissent le bien-fondé de celui-ci, quelques uns le considèrent mal adapté à l'évaluation du contenu des projets. Ces derniers expliquent que la pondération accordée à chacun des critères met l'accent sur la forme plutôt que sur le fond. Ainsi, un projet peut avoir un pointage très bas sur le critère de réponse aux besoins de la communauté, mais il risque d'être dilué parmi les autres critères et le projet peut finir avec une bonne note, qu'il ne mériterait pas nécessairement. Ils ajoutent qu'il y a plusieurs exigences qui sont peu utiles pour le développement et la mise en œuvre des projets, ce qui limite l'accessibilité, entre autres, aux petits organismes, et ce pour une seule question de forme.

Un examen de ces critères confirme le risque qu'un projet présenté par un organisme moins structuré ne parvienne pas à faire valoir son projet, malgré son bien-fondé (voir tableau 6). À ce sujet, il ressort également des entrevues, des études de cas et du sondage qu'il existe un besoin d'assistance pour la formulation des demandes, soit par des agents de développement ou autre.

La perte de flexibilité dans la mise en œuvre du programme se jumelle à une concurrence importante lors des concours. Ensemble, ces phénomènes entraînent une évolution dans la sélection des projets. Ainsi, plus que jamais les demandes doivent être impeccables pour se mériter un pointage élevé. Or, plusieurs petites organisations ne possèdent pas une expertise aussi poussée que les grandes en matière de soumission de projets, ce qui devient un facteur indirect d'exclusion pour elles.

4.2.2 Accessibilité du programme

À l'origine bien conçu, le programme FV visait un secteur en plein développement : les TIC, et répondait aux besoins des organisations ciblées : les OSBL. Le fait que ces organisations soient souvent dépourvues de ressources (autant financières qu'humaines) et qu'elles tentent de survivre dans un contexte socio-économique parfois précaire, contribue à rendre plus difficile la formulation et la présentation de projets convaincants. FV, comme il a été expliqué dans la section précédente, se base de plus en plus sur un système de pointage qui écarte les projets moins bien présentés et qui désavantage les organisations qui n'ont que peu ou pas d'expertise dans la formulation et la soumission de projets. D'ailleurs, 13 des 26 organisations (50 p. 100) répondantes non bénéficiaires qui se sont prononcées à ce sujet ont déclaré que FV n'offrait pas des chances égales à tous les types de requérants. Ces perceptions laissent entendre que les contraintes auxquelles font face les organisations ciblées peuvent écarter du programme des projets potentiellement valables, mais irrecevables dans leur forme en raison des carences des requérants à ce chapitre.

En outre, les projets du volet B prennent de plus en plus d'importance, se prévalant de plus de 70 p. 100 de l'enveloppe distribuée lors du dernier concours, comme en témoigne la figure 2.

Figure 2 : Distribution de l'enveloppe par volet par concours

Longue description pour la figure 2.

Or, il est évident que des projets totalisant entre 150 000 et 500 000 $¹⁹ ne soient que rarement réalisables par des organismes de petite taille, lesquels sont souvent situés en milieu rural et dans les collectivités en situation minoritaire. En effet, sur 37 projets de volet B mis en œuvre grâce au programme de 2003 à 2008, seulement 3 l'ont été en milieu rural (Paquetville). Les principales villes où se sont réalisés ces projets sont Montréal, Ottawa, Québec, Halifax et Moncton. La même problématique concernant l'accessibilité pour les organisations en milieu rural est aussi présente pour les 56 projets de volet A, qui comptent au total seulement 8 projets réalisés en milieu rural. Plusieurs commentaires et données tendent d'ailleurs à confirmer qu'il existe un écart notable de capacités d'une organisation à l'autre et d'une région géographique à l'autre²⁰. Effectivement, l'analyse de la distribution des projets indique clairement que certaines régions sont sous-représentées, soit parce que les projets présentés n'ont pas été retenus, soit parce qu'aucune demande n'a été soumise, ce qui nous permet également de s'interroger sur l'accessibilité. Ainsi, de 2003 à 2008, sur 93 projets financés, sept provenaient du Nouveau-Brunswick, quatre du Manitoba, trois de la Colombie-Britannique, trois de la Saskatchewan, trois de la Nouvelle-Écosse, deux de l'Alberta, deux de Terre-Neuve-et-Labrador, deux de l'Île-du-Prince-Édouard, un des Territoires du Nord-Ouest, un du Nunavut et un du Yukon, comparativement à 27 de l'Ontario et 37 du Québec (voir le tableau 7). Le fait que le Québec reçoive une grande part des projets (40 p. 100)²¹ suscite un certain mécontentement de la part des CFA hors Québec, qui croient que les organisations québécoises sont avantagées du fait qu'elles soient mieux structurées et outillées pour préparer des demandes de financement.

En effet, on constate que le problème du resserrement des exigences et de la baisse d'accessibilité touche davantage les provinces et communautés ayant moins d'expertise dans la rédaction de propositions de projet, de même que certains types d'organisations.

Certains intervenants rencontrés vont même jusqu'à remettre en question la capacité de ce type d'organismes à mener seul des projets en TIC. D'aucuns avancent que, pour améliorer l'accessibilité aux petites OSBL, le programme FV aurait avantage à réunir les secteurs communautaire et privé dans des ententes de partenariat ou encore à conjuguer les savoirs et les expertises au sein des équipes d'organisation des projets : partenaires technologiques, partenaires de services et partenaires de promotion.

Par ailleurs, les données recueillies à l'aide de toutes les lignes d'enquête révèlent que les formulaires de demande sont complexes et que la lourdeur des rapports freine l'accès et alourdit la mise en œuvre. Parmi les 47 répondants du sondage ayant signé une entente de contribution avec FV et qui ont une opinion à cet effet, un peu moins de la moitié (49 p. 100) affirment avoir eu du mal à remplir les formulaires pour soumettre une demande. Cette proportion est de 54 p. 100 parmi les répondants qui n'ont pas reçu de contribution. De plus, les exigences sont les mêmes pour les volets A et B, alors que les montants en cause sont très différents.

En outre, plusieurs répondants se perçoivent comme des « fauteurs potentiels » plutôt que des partenaires, d'où l'instauration de sévères mesures de contrôle, le manque de reconnaissance de leur rôle comme organisation non gouvernementale et le maintien d'un déséquilibre entre l'imputabilité et le montant des contributions.

4.2.3 Structure de gouvernance

La figure suivante donne un rappel rapide de la structure de gouvernance du programme présentée dans la section 2.3.

Figure 3 : Structure de gouvernance de FV

Longue description pour la figure 3.

La structure de gouvernance du programme comporte certaines déficiences qui entravent l'efficacité de sa mise en œuvre. D'une part, les mandats du Comité consultatif (CC) et du Comité d'experts (CE) sont entremêlés. Entre 1999 et 2002, en plus d'être consulté quelques fois par téléphone, le CC s'est rencontré une à deux fois par année, puis leurs activités se sont estompées. Il a perdu des membres, qu'IC a remplacés parmi ceux du CE (qui formaient ponctuellement le Comité national de sélection). Parallèlement, depuis le début du programme, on a fait appel au CC pour évaluer les projets, ajoutant un rôle à celui de consultation. Bref, depuis quelques années, le CC n'exerce plus véritablement ses fonctions en tant qu'organe consultatif, il forme en partie le Comité national de sélection et il règne une confusion entre CE, CC et comité de sélection. Or, la fonction du CC est primordiale et les intervenants considèrent que ses membres sont compétents et représentatifs des différentes régions et secteurs du Canada.

Par ailleurs, aucune règle ne précise qu'un membre du CC ou du comité national de sélection ne peut déposer un projet, et donc devenir bénéficiaire du programme. Cela ne pose pas de problème de conflit d'intérêt pour les membres du comité de sélection, puisqu'ils évaluent toujours des projets de l'extérieur de leur région. Ceci étant dit, il faut toutefois s'assurer que le processus de sélection (exigences, critères, étapes, etc.) soit exposé suffisamment clairement sur Internet pour que ceux-ci ne soient pas avantagés par rapport au grand public. Dans cette optique, quelques répondants du sondage et quelques personnes interviewées ont recommandé que la grille des critères d'évaluation soit rendue publique. Par contre, ceux qui sont bénéficiaires, l'ont été ou songent à développer un projet dans le cadre du programme, sont en conflit d'intérêt direct s'ils sont membres du Comité consultatif, puisqu'ils doivent alors conseiller sur l'orientation du programme et pourraient confondre leurs propres intérêts et besoins avec ceux du programme.

4.2.4 Gestion des concours

La gestion des concours s'effectue à trois niveaux : celui des organismes bénéficiaires, du programme et du ministère.

Des facteurs externes au programme affectent la mise en œuvre de FV. Premièrement, plusieurs intervenants déplorent le délai trop court entre l'appel de projets et la date de dépôt, ce qui limite, selon eux, la création de véritables partenariats de même que la qualité des propositions des organismes qui n'ont pas d'expertise en la matière. Or, lors du dernier concours 2006–2008, il s'agissait d'un délai de trois mois, annoncé un an à l'avance. Comme cette période paraît, à première vue, raisonnable, cela pose la question de la qualité de la diffusion de l'information. Deuxièmement, selon des intervenants clés, les gels de fonds par le gouvernement occasionnent des délais considérables entre l'annonce des bénéficiaires et l'octroi des fonds, ce qui retarde plusieurs projets et entraîne une perte d'argent, puisque les fonds ne sont pas transférables d'une année financière à une autre. Par exemple, pour le concours 2005–2007, les fonds ont été bloqués du mois d'avril au mois d'août, entravant bien entendu la mise en œuvre des projets et occasionnant une perte d'environ un million de dollars. Enfin, le roulement élevé de personnel au sein du programme peut probablement expliquer en partie le manque d'orientation précise du programme. En effet, depuis juin 2004, le programme a eu 2 directeurs, 4  gestionnaires, 4 chefs d'équipe, 3 agents de communication et 7 agents de projets différents²².

Pour ce qui est de la gestion interne par l'équipe du programme, les avis sont divers sur plusieurs plans. Tout d'abord, comme l'illustre le tableau 8, les répondants du sondage sont partagés quant à la clarté des directives transmises, à la qualité du suivi et de l'appui des agents de programme. En effet, plus de la moitié (56 p. 100) des 39 bénéficiaires qui se sont exprimés sur la clarté des directives sont d'avis que celles-ci pourraient être plus claires, alors que 49 p. 100 des 43  bénéficiaires qui avaient une opinion concernant le suivi et l'appui fourni par Industrie Canada croient que ces éléments devraient être améliorés.

Les commentaires apportés dans le sondage et les études de cas confirment que l'appui et le suivi varient selon l'agent attitré au projet. De plus, les agents de projets doivent généralement faire eux-mêmes les tâches administratives, même les photocopies (n'ayant ni adjoint administratif, ni secrétaire), ce qui a pour effet de limiter l'optimisation des ressources.

Le processus actuel inclut une révision budgétaire des projets par les agents : ceux-ci peuvent revoir à la baisse le montant alloué. Selon le sondage, huit des 39 organisations bénéficiaires qui ont répondu à la question se sont vus octroyer une enveloppe légèrement inférieure à celle demandée. Les organisations qui ont répondu ont ainsi reçu, en moyenne, 99 046 $ au lieu des 100 746 $ qu'elles avaient en moyenne demandés. Ainsi, les agents de programme ne semblent pas modifier le budget proposé de façon significative. Or, sur le plan de la gestion des fonds par l'organisme bénéficiaire, on peut constater deux problèmes liés à la somme accordée. D'abord, selon certains intervenants, les périodes de 9 et 14 mois (volets A et B) pour la mise en œuvre des projets sont insuffisantes pour réaliser les projets, ce qui force les organismes à trouver des justifications pour leurs dépenses. À la suite de retards par rapport à l'échéancier initial, le montant est parfois jugé trop important pour la période allouée.

La plupart des intervenants clés considèrent que le financement à la hauteur de 50 p. 100 du budget du projet implique un engagement raisonnable de la part des organismes demandeurs. Par contre, les contributions en nature sont remises en question, particulièrement pour les bénéficiaires du volet B, dont la capacité à rechercher du financement est plus élevée que les organisations plus modestes. De plus, pour favoriser les organisations qui ont un accès très restreint à d'autres sources de financement, certains intervenants croient qu'il pourrait y avoir des exceptions en cas de circonstances extraordinaires, lorsque les organismes prouvent que leur effort de financement est resté vain et que leur projet est pertinent.

4.2.5 Atteinte des résultats

La mesure du rendement des projets est en lien direct avec le cadre logique du programme. Cependant, la plupart des indicateurs qui se retrouvent dans les rapports finaux des projets réfèrent davantage aux résultats immédiats qu'aux résultats intermédiaires et ultimes. Cela s'explique par une absence complète de suivi lorsque l'entente se termine. Il est donc difficile, voire impossible de mesurer l'effet et l'impact des projets à moyen et long terme. À ce sujet, les lignes d'enquête permettent de faire ressortir certains aspects importants.

La plupart des répondants aux entrevues s'entendent pour dire que les services de langue française offerts dans le cadre des projets supportés par FV sont utiles aux francophones et Acadiens. Le sondage affirme cet énoncé. En effet, parmi les 45 répondants dont le projet a été accepté et qui avaient une opinion, plus de la moitié considèrent que les projets ont contribué au développement économique des communautés, ainsi qu'à accroître la capacité de ces communautés pour qu'elles participent activement à une économie axée sur le savoir. Le sondage nous révèle des données sur la formation, cependant il est difficile d'évaluer le nombre de séances de formation dispensée en raison de la grande variabilité d'un répondant à l'autre (le nombre de séances de formation varie de 1 à 600). C'est la même situation pour le nombre de personnes formées. Bien que l'écart soit très grand d'un répondant à l'autre, au total plus de 3 000 personnes ont reçu de la formation sur les TIC. Ceci permet de croire qu'il y a eu un développement considérable au niveau du renforcement des capacités dans les CFA en matière de TIC.

Pour leur part, les études de cas permettent de tirer des leçons des facteurs de réussite, des difficultés et des retombées locales (tableau 9).

Les entrevues, la revue documentaire, les études de cas et le sondage révèlent que de 2003 à 2008, le programme FV a contribué, dans une certaine mesure, à positionner avantageusement les CFA dans l'ère numérique et dans l'utilisation d'Internet et des TIC. De fait, la revue documentaire, les études de cas et les entrevues révèlent que le programme a permis d'augmenter le contenu en français sur Internet et d'améliorer sa qualité. FV a contribué à la création et à la diffusion des sites Internet et des services et applications électroniques en français. Parmi les 56 demandes acceptées, 46 sites Web ont été créés (82 p. 100) et ils étaient toujours actifs au moment du sondage. Un représentant du programme confirme que le financement a servi à la création de contenu en français pour 203 sites Web. Le programme a aussi contribué à l'utilisation d'Internet, mais indirectement. Effectivement, plus il y a de services, d'applications et de contenu en français, plus il y a une utilisation en français et plus il y a une utilisation, plus il y a de services offerts. Seulement, le programme n'y a pas contribué directement, car la promotion des projets en dehors du réseau des bénéficiaires a été très faible.

En outre, le nombre de formation dispensée ainsi que le nombre de personnes formées permet de croire que le programme a contribué à développer une expertise en TIC dans la francophonie canadienne tout en comblant partiellement le fossé numérique entre les CFA et les collectivités anglophones. En effet, selon l'enquête canadienne sur l'utilisation d'Internet (ECUI) réalisée par Statistique Canada en 2005, 83 p. 100 des utilisateurs d'Internet qui ont indiqué que le français était leur langue d'utilisation préférée ont obtenu l'information qu'ils recherchaient dans la langue de leur choix. Parmi ceux qui ont indiqué que leur langue de choix était l'anglais, 97 p. 100 ont fait la même déclaration.

Plusieurs petits organismes ont également pu se faire connaître et accroître leur visibilité. Des études de cas, de la revue documentaire et des entrevues, il ressort que le programme a aidé les communautés minoritaires de langue française à rattraper le rythme de la modernité, à se promouvoir, à sortir de l'isolement et à communiquer avec leur communauté et avec le public en général.

Bref, les lignes d'enquête permettent d'affirmer que le programme a eu des retombées positives sur les communautés. Par contre, ces retombées ne sont pas optimales, notamment à cause de certaines limites en matière de promotion et de pérennité des projets.

4.3 Coût-efficacité

Cette dernière section cherche à positionner le programme par rapport à ses grands objectifs, soient l'élaboration d'applications, des contenus et des services en français pour Internet; l'encouragement du développement et l'utilisation des technologies de l'information et des communications dans les collectivités francophones et acadiennes et la création de réseaux et de partenariats.

La présente section répond aux questions d'évaluation suivantes :

• Dans quelle mesure le programme a-t-il contribué au développement et au renforcement de partenariats et de réseaux au sein des CFA?
• Dans quelle mesure le programme a-t-il contribué à accroître l'habileté des communautés visées à participer activement à une économie axée sur le savoir?
• Dans quelle mesure le programme FV a-t-il été efficient et efficace dans son exécution?

4.3.1 Analyse de besoins des CFA et diffusion d'information

Dans un but d'efficacité par rapport aux objectifs et résultats espérés du programme, il est essentiel que les promoteurs des projets sachent, dans la mesure de leurs capacités, analyser et mesurer les besoins exprimés par la population. La pertinence, l'utilité et l'utilisation potentielles du contenu, des applications et des services créés en dépendent directement.

L'information relative à FV est peu diffusée dans les canaux régionaux déjà existants (RDÉE, FCFA, SADC, agences régionales de développement) et dans l'est surtout par Internet²³. Malgré cela, la plupart des personnes interviewées affirment que, grâce au temps et au bouche à oreille, le programme est bien connu de la plupart des organismes potentiels du milieu. Par ailleurs, les entrevues et le sondage indiquent qu'il manque de promotion et de publicité du programme et des projets développés, ce qui peut restreindre la connaissance du programme, ainsi que l'utilisation du contenu, des applications et des services créés. Or, un contenu qui n'est pas utilisé n'a pas de raison d'être.

4.3.2 Révision des enveloppes budgétaires

Les personnes interviewées considèrent le volet A pertinent et, sauf exception, sont d'accord avec le plafond de contribution de 75 000 $. Certains suggèrent de le diviser en deux sous-volets, dont un serait réservé aux financements à petite échelle (15 000 — 20 000 $) avec des exigences administratives moins lourdes, afin d'assurer l'accessibilité aux petites organisations. Le volet B, pour sa part, suscite des questionnements sérieux. Les opinions divergent en fonction du poids que les intervenants accordent aux différents objectifs généraux du programme²⁴. Pour ceux qui jugent que la diminution du fossé numérique est une priorité, la somme accordée au volet B est jugée excessive, alors que de l'avis de ceux qui misent sur l'innovation, ce volet est essentiel. Outre cette distinction, plusieurs trouvent que le montant accordé est excessif par rapport aux produits créés; d'autres craignent que les organismes ne s'en servent pour « survivre » et soulignent que plusieurs projets réalisés ne sont pas réellement « pancanadiens ».

4.3.3 Création de réseaux et partenariats

Quant à l'objectif de créer des réseaux en accentuant la coopération et le partenariat au sein des organismes francophones et acadiens du Canada dans le but de contribuer au développement socioéconomique et culturel de leurs collectivités, le programme est jugé efficace. Selon le sondage, quoique de façon très inégale d'un projet à l'autre, le programme semble être générateur de nombreux partenariats. Considérant les partenariats de la demande la plus récente des organismes ayant répondu à la question, les partenariats sont représentés au tableau 10 :

La revue documentaire confirme ce constat : grâce aux partenariats financiers, FV a encouragé le partenariat, les échanges de ressources, de savoirs, d'expertises et de compétences grâce à l'apprentissage et à l'utilisation des TIC. On observe également un renforcement des réseaux par les portails et les communautés de pratique créés.

Par contre, plusieurs intervenants et bénéficiaires mentionnent qu'il subsiste un écart significatif entre ce qui a été prévu et l'engagement réel des partenaires ainsi que la profondeur de ces partenariats. On note également qu'aucune rencontre, forum, symposium, formation ou autre événement n'ait été prévu par IC pour favoriser le réseautage entre les différents bénéficiaires, malgré les recommandations du CC dans ce sens lors de leur rencontre à Winnipeg en 2005.

⁹Le site Internet d'IC présente le programme FV comme suit : « Le programme est donc en mesure de poursuivre la mission qui consiste à positionner avantageusement les CFA du Canada dans la révolution numérique. Les projets financés par le programme contribueront au développement communautaire et économique de la francophonie canadienne et aideront ses membres à être concurrentiels dans une économie axée sur le savoir. » Le programme Francommunautés virtuelles d'Industrie Canada vise à favoriser la participation active des CFA du pays dans le domaine du développement et de l'utilisation des TIC. Les objectifs du programme Francommunautés virtuelles sont énumérés à la section 2.2. Source : Francommunautés virtuelles, consultée le 10 octobre 2007. (Retour au texte.)

¹⁰Les programmes sont parfois interministériels dans le sens qu'ils touchent parfois aux mandats de différents ministères. C'est le cas du programme FV qui, en raison de large champ d'intervention, se verra toujours reprocher un volet peu importe le ministère responsable, sous prétexte de ne pas exclusivement se conformer au mandat de ce dernier. (Retour au texte.)

¹¹À cela s'ajoute une partie réservée à la dimension économique du projet dans la section des commentaires généraux. (Retour au texte.)

¹²De plus, en décembre 2005, 65 p. 100 des adultes habitaient dans un ménage branché à Internet (50 p. 100 haute vitesse). Les Québécois pratiquent de nouvelles activités en ligne, dont la recherche d'emploi, les listes d'envoi, les blogues, la formation en ligne et la téléphonie. Enfin, 58 p. 100 naviguent majoritairement en français (contre 48 p. 100 en 2000). Source : Bisson (2007), pp. 69–72. (Retour au texte.)

¹³La proportion de ceux qui naviguent en français varie selon plusieurs facteurs et non seulement selon l'information disponible en français. Par exemple, elle dépend de la préférence des internautes et de leurs habitudes. (Retour au texte.)

¹⁴Par contre, l'enquête note également que le taux d'utilisation varie considérablement en fonction de plusieurs variables (sexe, âge, niveau de scolarité, revenu, location, langue maternelle) et que le taux d'utilisation varie considérablement entre les régions. Enquête annuelle NETendances, menée par le Centre francophone d'informatisation des organisations (CEFRIO), en partenariat avec Léger Marketing. NETendances, consulté le 20 novembre 2007. (Retour au texte.)

¹⁵Enquête annuelle NETendances, menée par le Centre francophone d'informatisation des organisations (CEFRIO), en partenariat avec Léger Marketing, et Bisson (2007), page 72. (Retour au texte.)

¹⁶Enquête réalisée par la firme Ronald Bisson et associés pour le compte de Francommunautés virtuelles : État des lieux communautaires — Profil organisationnel et financier des sites Internet de la francophonie canadienne à partir d'un échantillon de 70 organismes, Ronald Bisson et Jean Malavoy, février 2006. Source : Bisson (2007), pp. 79–80. (Retour au texte.)

¹⁷Idem. (Retour au texte.)

¹⁸Mis à part le Programme Jeunes stagiaires, FV est le seul programme d'IC. Il existe aussi d'autres initiatives : coordonnateurs régionaux (liaison, communications et avis-conseils) ainsi que projets-pilotes de téléformation et de téléapprentissage. (Retour au texte.)

¹⁹FV ne finance que la moitié du coût total des projets. (Retour au texte.)

²⁰Que veut-on évaluer : la « qualité » du demandeur ou la « qualité » de la demande? (Retour au texte.)

²¹Le taux d'acception des projets du Québec n'est cependant pas supérieur à celui des autres provinces. (Retour au texte.)

²²Rappelons que l'équipe du programme compte sept personnes, dont un directeur, un gestionnaire, quatre agents de projet et un commis (occasionnel). (Retour au texte.)

²³Certaines personnes mentionnent avoir trouvé le programme sur Internet par hasard, ce qui témoigne du manque de diffusion. (Retour au texte.)

²⁴Pour de plus amples explications, voir section 4.1. (Retour au texte.)

5.0 Conclusion

Le programme Francommunautés virtuelles a eu des retombées positives sur les communautés. Toutefois, FV comporte plusieurs zones grises dans sa définition, un manque de clarté qui se reflète sur plusieurs volets de sa mise en œuvre.

La mission et les objectifs du programme semblent pertinents, mais ils ne pointent pas toujours dans la même direction. Certains intervenants considèrent essentiel que les projets financés aident au développement ou au maintien de leur compétitivité dans une économie axée sur le savoir, tandis que d'autres insistent sur l'importance de l'objectif de diminution du fossé numérique. Cette dichotomie entre innovation et fossé numérique entraîne une confusion quant à la population ciblée.

En 2003, IC a renouvelé le programme FV en l'intégrant à son Plan d'action pour les langues officielles. Le programme cependant vise non pas les CLOSM à proprement parler, mais bien l'ensemble de la francophonie canadienne, une incohérence soulignée dans les entrevues et la revue documentaire. Ainsi, s'il est vrai que le programme FV joue un rôle important dans les efforts d'IC pour rencontrer ses engagements vis-à-vis des CLOSM²⁵, cet effort est limité par le fait que FV ne s'adresse pas à elles exhaustivement ou exclusivement.

Faute de données suffisantes sur le sujet, il est impossible de savoir si le programme FV répond aux besoins exprimés par les CFA en situation minoritaire. L'analyse des données révèle que le retard qu'accusaient les Québécois a considérablement diminué, en partie grâce au programme FV. Ceci dit, les intervenants clés et les bénéficiaires ont signalé d'autres besoins, notamment en matière de formation sur les TIC, d'innovation et de soutien financier et technique pour le maintien des sites Internet.

L'évaluation met aussi en évidence que le programme a évolué dans les dernières années. Afin de mériter un pointage élevé, les demandes doivent, de plus en plus, être impeccables. De plus, l'analyse de la distribution des projets indique que certaines régions sont sous-représentées. Ce faisant, l'équité interprovinciale n'est plus garantie et l'objectif de normalisation de l'utilisation des TIC à l'échelle canadienne est mis en veilleuse, au profit d'ambitions technologiques plus poussées.

Il est difficile de mesurer l'effet et l'impact des projets à moyen et long terme. La plupart des indicateurs qui se retrouvent dans les rapports finaux des projets réfèrent davantage aux résultats immédiats qu'aux résultats intermédiaires et ultimes. Cependant, les lignes d'enquête permettent de ressortir certains résultats. Notamment, le programme a contribué à la création de 46 sites Web et ils étaient toujours actifs au moment de l'évaluation. Le financement a aussi servi à la création de nouveau contenu en français pour 203 sites. Le sondage mené dans le cadre de l'évaluation révèle que plus de 3 000 personnes ont reçu de la formation sur les TIC. Ceci permet de croire qu'il y a eu un développement considérable au niveau du renforcement des capacités dans les CFA en matière de TIC.

Le programme Francommunautés virtuelles a pris fin le 31 mars 2008. Le rapport d'évaluation ne contient aucune recommandation en raison de ce fait, ni de plan d'action de la part de la gestion. La réponse de la gestion a confirmé son accord avec les constatations et conclusions de l'évaluation.

²⁵Mis à part le Programme Jeunes stagiaires, FV est le seul programme d'IC. Il existe aussi d'autres initiatives : coordonnateurs régionaux (liaison, communications et avis-conseils) ainsi que projets-pilotes de téléformation et de téléapprentissage. (Retour au texte.)

Le programme Francommunautés virtuelles

Le programme Francommunautés virtuelles a pris fin le 31 mars 2008. Le rapport d'évaluation ne contient aucune recommandation — en raison de ce fait, ni le plan d'action de la part de la gestion. La réponse de la gestion a confirmé son accord avec les constatations et conclusions de l'évaluation.

Longue description

Figure 1 : Répartition des montants alloués par secteur

Ce graphique à barres montre les sommes allouées par secteur, entre 2003 et 2008. L'axe des Y représente les 12 secteurs et l'axe des X indique les sommes en dollars augmentant par tranche de 500 000, jusqu'à 3 000 000. Le premier secteur, celui du « Tourisme », a reçu environ 300 000. Le secteur suivant est celui de la « Société », qui reçu une somme de près de 1 000 000. Il est suivi de près par le secteur de la « Santé ». Le secteur suivant est celui de la « Justice », qui a reçu environ 600 000. Vient ensuite le secteur des « Technologies de l'information et services Internet », qui a reçu un peu plus de 1 000 000. Le secteur de l'« Histoire » arrive ensuite avec environ 250 000, puis celui de la « Formation », avec une somme légèrement inférieure à celle reçue par le secteur de l'« Histoire ». Le secteur suivant, celui de l'« Éducation », a reçu environ 2 750 000. Vient ensuite le secteur du « Commerce et de l'économie », qui a reçu un peu plus de 1 000 000, celui des « Arts et de la culture », qui a reçu environ 700 000, puis celui de l'« Agriculture », qui a reçu moins de 100 000. Le dernier secteur est celui des « Actualités et des médias », qui a reçu presque exactement 500 000.

Retour au Figure 1

Figure 2 : Distribution de l'enveloppe par volet par concours

Ce graphique montre la répartition du financement pour deux volets, désignés volet A et volet B, sur trois échelons de deux ans. De 2003 à 2005, 841 011 $ ou environ 30 % du financement ont été versés pour le volet A, tandis que 70 % ou 2 133 048 $ ont été versés pour le volet B. De 2005 à 2007, les sommes ont été réparties presque de façon égale. Le volet A a reçu 1 623 993 $ et le volet B a reçu 1 844 575 $. Finalement, entre 2006 et 2008, le volet A a reçu 1 345 692 $ et le volet B a reçu 1 523 000 $.

Retour au Figure 2

Figure 3 : Structure de gouvernance de FV

Ce graphique illustre la structure de gouvernance du programme de Francommunauté Virtuelle. Au sommet de la structure se trouve une boîte dans laquelle on peut lire « Sous-ministre adjoint (pouvoir financier) » et « Direction générale des applications de l'autoroute de l'information ». En-dessous de cette boîte se trouvent trois autres boîtes liées à la première. La première porte l'inscription Comité consultatif et le sous-titre « 10 personnes dont les mandats prennent fin en mars 2008 ». La deuxième boîte porte l'inscription « Programme » et le sous-titre « Gestionnaires et membres du personnel ». La troisième boîte porte l'inscription « Comité de sélection national » et le sous-titre « Membres du Comité consultatif et du Comité d'experts ».

Retour au Figure 3