Évaluation du Programme de collaboration en science, en technologie et en innovation 2023-2024

Abréviations

ACS Plus

Analyse comparative entre les sexes plus

ARPA-E

Advanced Research Projects Agency-Energy

BNP

Bureau national des programmes

CCP

Comité consultatif du programme

CdI

Conflit d’intérêts

CDP

Comité directeur du programme

CEEP

Comité externe d’examen par les pairs

CEP

Comité d’examen par les pairs

CEI

Conseil européen de l’innovation

CHD

Comité de la haute direction

CII

Conseiller ou conseillère en investissements d'innovation

CP

Chercheur principal ou chercheuse principale

CR

Centre de recherche

CRFP

Comité des ressources financières et des programmes

DARPA

Defense Advanced Research Projects Agency

DG

Directeur général ou directrice générale

EDI

Équité, diversité et inclusion

EMM

Examen de mi-mandat

F et E

Fonctionnement et entretien

S et C

Subventions et contributions

IIC

Initiative Impact Canada

IRC

Indicateur de rendement clé

MCP

Matériaux pour carburants propres

NMT

Niveau de maturité technologique

OSBL

Organisation sans but lucratif

PCSTI

Programme de collaboration en science, en technologie et en innovation

PNSA

Programmes nationaux des services d’affaires

PPT

Politique sur les paiements de transfert

RCP

Rapport de clôture de projet

R-D

Recherche et développement

RSHD

Réseaux sécurisés et à haut débit

SCT

Secrétariat du Conseil du Trésor du Canada

SPA

Services professionnels et d’affaires

TCG

Technologies de rupture au service des thérapies cellulaires et géniques

VCS

Vieillir chez soi

Introduction

L’évaluation du Programme de collaboration en science, en technologie et en innovation (PCSTI) du Conseil national de recherches du Canada (CNRC) porte sur la période de 5 ans allant de 2018-2019 à 2022-2023. Elle a été effectuée conformément au Plan d’évaluation ministériel du CNRC, à la Politique sur les résultats du Conseil du Trésor (2016) et à la Loi sur la gestion des finances publiques. Étant la première évaluation du programme, elle couvre tous les exercices financiers de celui-ci depuis sa création.

Le présent rapport commence par une présentation du profil du PCSTI. Nous présentons ensuite les conclusions sur la mesure dans laquelle le modèle du PCSTI, ses processus, ses contrôles et sa gestion de l’information sont adéquats pour appuyer l’atteinte des objectifs. Les conclusions sont suivies de recommandations.

Approche utilisée pour l’évaluation

Portée

Il s’agit d’une évaluation des processus des initiatives de recherche et développement (R-D) collaborative du PCSTI, axée particulièrement sur les programmes Défi. À ce titre, nous avons évalué dans quelle mesure les programmes étaient adéquats pour l’atteinte de leurs objectifs et si les progrès réalisés à ce jour avaient été appuyés par le cadre de R-D collaborative du PCSTI. L’évaluation ne portait pas sur les résultats du programme. Nous avons accordé une attention particulière aux programmes Défi, qui ont été identifiés comme un secteur susceptible de générer de la croissance pour le CNRC.

Approche

Cette évaluation a été dirigée par le Bureau de la vérification et de l’évaluation (BVE) du CNRC. Nous avons appliqué une approche mixte, incorporant des données qualitatives et quantitatives provenant de plusieurs sources de données, qui a permis de trianguler les données. Une optique analyse comparative entre les sexes plus (ACS Plus) a été appliquée tout au long de l’évaluation.

Méthodes

Les sources de données et les méthodes d’analyse qui appuient l’évaluation sont :

• examen des documents (sources internes et externes)
• examen des données (données administratives, financières, de programme, de projet et de rendement)
• entrevues (n=73 personnes interrogées)
  • personnel du CNRC (n=56 personnes interrogées)
  • intervenants externes (n=17 personnes interrogées)
• études de cas (n=3 programmes Défi), y compris l’examen des documents et des données, les entrevues portant sur des études de cas (n=29 personnes interrogées, inclues ci-dessus) et l’examen d’un échantillon non aléatoire de projets (n=11)
• analyse comparative (n=4 programmes de référence), y compris l’examen des documents et des entrevues (n=6 personnes interrogées)

Voir l'annexe A pour des renseignements détaillés sur les méthodes et l'annexe B pour leurs limites.

Questions de l’évaluation

1. Le programme de R-D collaborative du PCSTI appuie-t-il ses objectifs de promouvoir la recherche de pointe qui profitera au Canada et de renforcer la collaboration externe du CNRC et en son sein?
   1. Le modèle du programme appuie-t-il les objectifs?
   2. Les progrès réalisés dans l’atteinte des objectifs sont-ils appuyés par des processus et des contrôles efficaces?
2. La direction du programme a-t-elle accès aux renseignements nécessaires pour prendre des décisions éclairées?
3. Comment le modèle du programme Défi se compare-t-il à des programmes canadiens et étrangers semblables?

Profil

Le Programme de collaboration en science, en technologie et en innovation (PCSTI) utilise des subventions et des contributions (S et C) pour réunir les meilleurs esprits de l’écosystème de la recherche, afin que ceux-ci relèvent les défis les plus pressants en matière de politiques publiques et réalisent des percées scientifiques et technologiques.

Aperçu du programme

Le Programme de collaboration en science, technologie et innovation (PCSTI) du Conseil national de recherches du Canada (CNRC) est un programme de paiements de transfert établi au cours de l’exercice 2018-2019 dans le but de placer le CNRC au centre de l’excellence et de la collaboration en recherche. Bénéficiant d’un financement fédéral de 150 millions de dollars (M$) sur 5 ans et d’un financement annuel de 30 M$, le PCSTI a pour mission de catalyser la recherche collaborative à haut risque et à haut rendement et de réaliser des percées scientifiques et technologiques tangibles qui répondent à certains des défis les plus pressants en matière de politiques publiques au Canada. Le PCSTI utilise du financement au moyen de S et C pour réunir des équipes de recherche stratégiques et hautement dynamiques du milieu universitaire, industriel et gouvernemental.

Le PCSTI comprend 3 volets distincts qui tirent parti du financement par des S et C, fourni et administré par le Bureau national des programmes (BNP) du CNRC, afin de collaborer avec des collaborateurs externes :

1. Initiatives de recherche et développement (R-D) collaborative (107 M$ en S et C à ce jour) : Composées des programmes de soutien aux grappes et des programmes Défi, ces initiatives mettent en contact le réseau national des chercheurs et des installations du CNRC avec des collaborateurs de l’industrie, du milieu universitaire et du gouvernement afin d’atteindre des objectifs de recherche précis dans diverses disciplines scientifiques.
   Programmes de soutien aux grappes (32 M$ en S et C à ce jour) : Appuyer les objectifs des 5 grappes d’innovation mondiales du Canada.
   Programmes Défi^{Note de bas de page 1} (75 M$ en S et C à ce jour) : Appuyer le développement de technologies perturbatrices pour relever les défis sociaux, économiques et environnementaux qui touchent la population canadienne.
2. Fonds d’idéation (9,6 M$ en S et C à ce jour) : Le Fonds d’idéation, qui comprend les initiatives Nouveaux débuts et Petites équipes, appuie la recherche exploratoire et transformatrice menée par des scientifiques du CNRC en collaboration avec des partenaires externes.
3. Initiative de rayonnement (1,2 M$ en S et C à ce jour) : Cette initiative vise à accroître le rayonnement, la mobilisation et le soutien du CNRC à l’excellence en recherche dans les domaines des sciences, de la technologie, du génie et des mathématiques, tout en mettant l’accent sur les groupes sous-représentés.

Accent sur les programmes Défi

Les programmes Défi offrent au CNRC une nouvelle plateforme de collaboration avec des intervenants externes — une plateforme où il est à la fois un agent de financement et un collaborateur actif. Depuis 2018-2019, le PCSTI a lancé 9 programmes Défi, et 3 autres sont en cours d’élaboration.

Objectifs des programmes Défi :

• faire progresser la recherche à haut risque et à haut rendement et dont la mission est orientée sur des résultats transformateurs;
• catalyser les collaborations multidisciplinaires dans les centres de recherche (CR) du CNRC et avec des partenaires externes dans les secteurs et les industries de la recherche, y compris avec des partenaires de l’extérieur du Canada (6 % des projets financés étaient en Europe, au Japon ou aux États-Unis);
• fournir des solutions scientifiques aux défis les plus pressants du Canada (actuels et émergents).

Pour atteindre ces objectifs, les programmes Défi sont :

• collaboratifs dès leur conception : mis au point en consultation avec des intervenants internes et externes, et renforcé par l’examen par les pairs, durant l’élaboration du programme et à mi-mandat;
• d’une durée limitée et échelonnée : en règle générale, durée de 7 ans, avec examens à mi-mandat (EMM) à la quatrième année; de nouveaux programmes sont généralement lancés tous les 3 ans;
• financés annuellement : Budget de référence pour les S et C (24 M$ par an) et les opérations du CNRC (4 M$ par an);
• innovants : faire progresser des projets qui s’étendent sur le continuum de l’innovation, de la recherche fondamentale au stade initial à la mobilisation des connaissances et à la précommercialisation (NMT 1 à 9).

En 5 ans, les programmes Défi ont octroyé 219 subventions et fait 44 contributions à des collaborateurs :

• 85% milieu universitaire
• 5% industrie
• 2% gouvernements des territoires et des provinces
• 9% organismes sans but lucratif et autres

Note : Le pourcentage total de collaborateurs s’élève à plus de 100 %, car les chiffres ont été arrondis. Le calcul comprend tous les projets financés par S et C du 1er avril 2018 au 28 février 2023.

Paiements de transfert en un coup d’œil

La Politique sur les paiements de transfert (PPT) du gouvernement du Canada définit un « paiement de transfert » comme un paiement monétaire effectué par le gouvernement à un bénéficiaire tiers admissible. Ces paiements, qui comprennent les subventions et les contributions (S et C), sont principalement utilisés pour habiliter ou mobiliser des capacités et des ressources qui existent à l’extérieur du gouvernement fédéral.

Qu’est-ce qu’un programme de paiements de transfert?

Les programmes de paiements de transfert, comme le PCSTI, sont le mécanisme par lequel le gouvernement tire parti des actifs de tiers et oriente les activités des bénéficiaires vers l’atteinte d’objectifs et de résultats précis. Selon la PPT, les programmes doivent :

• être conçus, exécutés et gérés avec intégrité, transparence et responsabilité;
• démontrer clairement l’optimisation des ressources au moyen de contributions tangibles aux objectifs du programme et aux résultats ministériels;
• être étayés par des systèmes administratifs, de surveillance et de contrôle appropriés, proportionnés au niveau de risque propre au programme;
• rester axés sur le destinataire, en mettant l’accent sur l’accessibilité, l’inclusion et l’utilisabilité.

Quelle est la différence entre les subventions et les contributions?

• Les subventions sont assujetties à des critères d’admissibilité préétablis et à d’autres critères d’admissibilité, mais elles ne sont généralement pas assujetties à une vérification. Dans le cadre du PCSTI, elles servent principalement à établir des relations avec des universités et des organismes sans but lucratif.
• Les contributions sont assujetties à des conditions de rendement plus strictes précisées dans une entente de financement et les bénéficiaires doivent faire l’objet d’une vérification. Dans le cadre du PCSTI, elles sont généralement utilisées pour des projets plus complexes impliquant de multiples collaborateurs, avec l’industrie ou pour l’achat d’équipement.

À compter de l’exercice 2023, le plafond de financement pour les subventions et les contributions, par bénéficiaire et par projet, est de 2 M$ par année. Les exigences en matière de surveillance et de présentation de rapports pour les subventions demeurent relativement inférieures à celles des contributions.

Bureau national des programmes (BNP)

En janvier 2023, le BNP comptait un effectif de 36 employés :

• Dépenses annuelles : 4 M$ par année (EF 2023)
• Gestion du BNP : 3
• Gouvernance et opérations : 11
• Programme d’idéation : 5
• Programmes de R-D : 11 (y compris les conseillers ou conseillères en investissements d'innovation)
• Gestion numérique et informatique : 4
• Politique relative aux programmes : 3

Rôles et responsabilités

Le BNP est responsable de l’administration quotidienne et de la surveillance du PCSTI, notamment :

• le soutien pour l’élaboration des programmes;
• la diligence raisonnable et les conseils sur les demandes de financement;
• les décisions de financement relatives aux S et C;
• l’administration et la gestion des ententes de financement;
• les politiques relatives au programme et l’orientation opérationnelle;
• la coordination et le contrôle des comités internes et externes et l’examen par les pairs, y compris les EMM;
• la surveillance et le suivi des progrès, du rendement et de l’atteinte des résultats du programme.

Le conseiller ou la conseillère en investissement d’innovation (CII)

Le ou la CII sert de lien entre le BNP et les programmes de R-D collaborative. Anciennement connu sous le nom d’agent ou d’agente de défi, le CII exerce un rôle consultatif impartial ou une « fonction d’analyse critique » dans la surveillance stratégique et l’exécution des programmes et des projets de R-D. La fonction d’analyse critique est également assurée par d’autres organismes de surveillance du CNRC. Son rôle comprend les activités suivantes :

• fournir des conseils sur les investissements du CNRC dans les ressources et le financement;
• établir des partenariats de cofinancement stratégique;
• appuyer la conception de programmes par la mobilisation des intervenants et la création de comités consultatifs d’experts;
• exercer une diligence raisonnable et évaluer de façon impartiale les propositions de programme et de projet;
• financer des projets à l’appui des programmes de collaboration en R-D, y compris la gestion des budgets de S et C des programmes, les appels de financement concurrentiels et les ententes.

Gestion des programmes Défi

Figure 1 – Version textuelle

Cette carte représente la structure de gouvernance des programmes Défi typiques.

Les responsables de la direction des programmes comprennent :

• Comité de la haute direction du CNRC (CHD)
• Comité de planification des ressources financières du CNRC (CPRF)
• Vice-président, Services professionnels et d’affaires (V.-P., SPA)
• Bureau national des programmes (BNP)
• Responsable du programme (V.-P. ou DG de la recherche)
• Directeur ou directrice du programme et équipe de gestion

Les organes consultatifs comprennent :

• Comité directeur du programme (CDP)
• Comité externe d’examen par les pairs (CEEP)
• Comité consultatif du programme (CCP)
• Examen à mi-mandat (EMM), y compris le comité d’examen par les pairs (CEP)

Collaborateurs en R-D :

• Centres de recherche (CR) participants du CNRC
• Collaborateurs externes

Le CHD et le CPRF fournissent l’autorité et l’approbation aux programmes Défi du PCSTI.

Le V.-P., SPA et le BNP assurent la supervision du programme, l’administration et la gestion des subventions et contributions (S et C) pour les programmes Défi du PCSTI. Le BNP délivre des subventions aux collaborateurs externes.

Le ou la responsable du programme, le directeur ou la directrice du programme et l’équipe de gestion assurent l’exécution du programme et la direction scientifique des programmes Défi du PCSTI.

Le comité directeur du programme, le CCP et l’examen de mi-mandat du CEP fournissent des avis d’experts et des conseils au directeur ou à la directrice du programme et à l’équipe de gestion.

Les programmes Défi du PCSTI produisent des projets de R-D qui impliquent les CR participants et des collaborateurs externes.

Note: Ce diagramme présente la gouvernance d’un Programme Défi ordinaire. Le nombre de comités peut être différent d’un programme à l’autre. La composition de ces derniers peut également varier.

Cycle de vie des programmes Défis

Des organismes internes et externes assument des fonctions de gestion de programme, de prestation de conseils et de recherche collaborative au cours du cycle de vie d’un programme.

Gestion des programmes

Organismes consultatifs

Cycle 1 : programmes Défi

Le PCSTI a lancé 4 programmes Défis entre l’exercice 2018-2019 et l’exercice 2019-2020. Ils ont été hébergés par un centre de recherche (CR) du CNRC et ont fait l’objet d’un examen de mi-mandat au cours de l’exercice 2022-2023.

Cycle 2 : programmes Défi

Le PCSTI a lancé 4 programmes Défis entre l’exercice 2021-2022 et l’exercice 2022-2023. 2 programmes du cycle 2 ont été hébergés au niveau de la division plutôt que par un CR.

Programme Défi en réponse à la pandémie

Organisé par la Division des sciences de la vie, le programme Défi en réponse à la pandémie (PDRP) était un programme spécial de 2 ans qui visait à accélérer la R-D pour combler les lacunes et relever les défis liés à la pandémie cernés par les experts en santé du Canada. Le programme, qui a été élaboré dans des délais serrés, avait sa propre structure de gouvernance et des conseillers externes pour chaque projet. Les dirigeants du programme ont adopté une approche de gestion des risques par portefeuille en choisissant un mélange de projets à faible ou à haut risque pour atténuer le risque global du programme. Du fait de la rapidité de sa planification et de la prise de mesures, le programme a été un exemple montrant comment on peut structurer un programme Défi à court terme pour répondre rapidement à une crise comme la COVID-19.

Calendrier des programmes Défi et données financières

Les coûts du PCSTI ont augmenté au fil du temps avec le lancement de nouveaux programmes Défi et les modifications apportées à ses modalités. Notez les périodes de pointe dans le fonctionnement et l’entretien (F et E) au cours de l’exercice 2020-2021 en raison du financement supplémentaire consacré à l’appui du PDRP, puis au cours de l’exercice 2021-2022 en réponse au financement additionnel du budget de 2021 dans le cadre de la Stratégie quantique nationale du Canada (qui appuie l’informatique quantique appliquée [IQA] et le traitement des signaux quantiques [TSQ]).

EF 2018-2019

• création du BNP
• programmes du cycle 1 élaborés et 3 programmes lancés (TCG, RSHD, MCP)

EF 2019-2020

• lancement du 4e programme du cycle 1 (IA au service de la conception)
• modalités modifiées pour élargir l’admissibilité à la subvention et permettre l’exécution du PDRP

EF 2020-2021

• PDRP lancé en réponse à la pandémie de COVID-19
• modalités modifiées aux fins d’inclusion

EF 2021-2022

• lancement des programmes du cycle 2 (VCS, L’Arctique et le Nord, Internet des objets: capteurs quantiques)

EF 2022-2023

• lancement du programme IQA (dans le cadre du budget de 2021)

Programmes de comparaison

La méthodologie d’évaluation comprenait une étude comparative du cadre opérationnel des programmes Défi du PCSTI avec celui de programmes de recherche semblables axés sur la mission. L’objectif de l’étude était de comparer l’approche globale du CNRC avec d’autres approches et de déterminer les pratiques exemplaires. À cette fin, 2 programmes canadiens et 2 programmes étrangers ont été sélectionnés en collaboration avec le BNP :

Modèle du programme

L’initiative de R-D collaborative du PCSTI offre un modèle de programme souple pour le financement de la recherche collaborative en vue de relever les défis sociétaux. Pensée pour être souple, le PCSTI permet à certains programmes de tirer parti à la fois des ressources internes et des possibilités de financement externe lorsqu’ils cadrent avec leur mission de défi spécifique. Le modèle est efficace pour améliorer la collaboration avec des chercheurs externes, principalement dans le milieu universitaire, par l’octroi de subventions et de contributions.

Lorsque le PCSTI est devenu mieux connu, le modèle a également permis d’améliorer la collaboration au niveau des programmes à l’échelle du CNRC, le PCSTI jouant le rôle de « programme de changement ». Les modifications apportées aux modalités du PCSTI ont favorisé une collaboration plus large et plus inclusive. Les programmes ont intégré des conseils externes par l’entremise de plusieurs comités à différents stades de leur cycle de vie. À ce jour, les programmes de Défis du cycle 1 ont attiré des collaborateurs pour travailler avec le personnel du CNRC, cosigner des publications et générer de la propriété intellectuelle (PI). Les commentaires des bénéficiaires de S et C et des chercheurs du CNRC sur les collaborations ont été positifs.

Il n’est pas possible de conclure si le modèle des programmes Défi fournit une structure efficace pour faire progresser la recherche financée vers des résultats de pointe, étant donné que les programmes du cycle 1 existent seulement après le point médian du cycle de vie de 7 ans au cours de l’exercice 2023. Toutefois, la structure du modèle est insuffisante pour gérer l’avancement des portefeuilles de projets (c.-à-d. la maturation et l’élargissement ou la fin des projets), développer la technologie avec l’industrie ou d’autres partenaires et définir ce qui constitue une adoption réussie pour l’utilisateur final. De façon plus générale, le modèle a souffert d’une combinaison de défis liés à l’affectation des ressources tant au niveau du PCSTI qu’au niveau des programmes, de rôles et de responsabilités peu clairs, d’attentes mitigées, d’une lourde surveillance, mais aussi d’une structure incohérente, et d’une fatigue possible liée au changement.

Structure de gouvernance : modèle de programme souple

Intervenants satisfaits du bureau des programmes centralisé

Les intervenants du CNRC, notamment la haute direction et les directeurs de programme, ont été généralement satisfaits du modèle de gestion centralisée des programmes Défi par le BNP. Les directeurs des programmes Défi et des programmes de soutien aux grappes ont convenu qu’un organisme comme le BNP est essentiel à aider à établir et mettre en œuvre les programmes, tout en permettant une certaine souplesse dans leur exécution.

Les directeurs de programme et les dirigeants du BNP se sont consultés régulièrement par l’entremise d’une communauté de pratique afin de cerner les problèmes, d’échanger des pratiques exemplaires et de recommander des changements dans la gouvernance des programmes.

Le modèle des programmes Défi du CNRC est unique

L’étude comparative a révélé que le modèle des programmes Défi — dans lequel le CNRC intervient à la fois en tant qu’agent de financement et collaborateur en R-D — est unique à l’échelle mondiale. Bien que certains programmes semblables permettent la participation de laboratoires nationaux ou d’autres organismes fédéraux à titre d’intervenants tiers en R-D, ces programmes eux-mêmes ne collaborent pas directement avec les bénéficiaires de S et C à des projets financés.

Modèles flexibles pour l’hébergement de programmes au CNRC

Les programmes Défi peuvent être hébergés par une division ou un CR. Les 2 approches ont présenté des avantages :

• Organisé par une division, parrainé par un ou une V.-P. : plus en phase avec l’objectif de mission du PCSTI; tendance à appuyer une plus grande collaboration et une planification stratégique à l’échelle du CNRC.
• Organisé par un CR, parrainé par un ou une DG : plus directement relié au personnel de recherche et aux capacités de soutien (p. ex. développement des affaires, gestion des programmes).

En fin de compte, l’adéquation du modèle dépend de multiples facteurs tels que la portée du programme, la nature du défi, les ressources et l’étendue de l’expertise nécessaire. Dans l’ensemble, les directeurs de programme et la haute direction ont convenu que cette souplesse est nécessaire pour l’avenir, plutôt qu’un modèle unique.

Orientation souple du programme, une pratique exemplaire

Les responsables de plusieurs programmes de comparaison ont souligné l’importance d’établir des modèles et des pouvoirs d’exécution souples qui appuient les besoins et les objectifs uniques du programme.

Structure de gouvernance : conseils et supervision

Programmes appuyés par des comités consultatifs

Les comités consultatifs de programme (CCP) ont fourni des conseils et des avis d’experts aux programmes de R-D collaborative. Le modèle flexible du PCSTI a permis aux organes consultatifs d’experts externes de répondre aux besoins différents des programmes Défi. Par exemple, le programme TCG hébergé par un CR a utilisé son Conseil consultatif du Centre de recherche (CCCR) pour jouer ce rôle, tandis que le PDRP (hébergé par une division) a fait appel aux comités interministériels sur une base ad hoc pour obtenir des conseils et une orientation d’ordre scientifique. Le RSHD, quant à lui, a établi son CCP relativement tard dans les cycles de vie du programme, ce qui a limité son influence sur l’orientation du programme et la sélection des projets.

Rôle des nouveaux comités directeurs

Un nouveau palier de gouvernance interne, le comité directeur du programme (CDP), a été ajouté au modèle de programme au cours de l’exercice 2023. Il vise à assurer la liaison entre les programmes et les comités exécutifs du CNRC et à orienter les changements de mi-mandat. Tous les programmes futurs doivent avoir un CDP, mais 2 seulement en avaient un en mars 2023 (IQA, qui a été lancé en 2023, et RSHD, qui a mis à l’essai un CDP plus tôt). Les programmes existants peuvent convoquer des CDP à la suite de leur EMM afin d’appuyer la mise en œuvre de leurs réponses et plans d’action de la direction (RPAD) subséquents, mais cela reste facultatif.

Il n’est pas encore possible de fournir des commentaires sur l’efficacité des CDP à appuyer l’élaboration et la mise en œuvre des programmes. De plus, on ne sait pas comment les CDP compléteront les comités existants.

Surveillance excessive des programmes

Les programmes Défi relèvent de divers comités internes et externes, et la mise en œuvre des comités était incohérente parmi les programmes. Cela s’est traduit par une lourdeur de production des rapports, ainsi que par des attentes incohérentes quant au contenu des rapports à envoyer aux organes de surveillance et à la façon de les communiquer.

Les directeurs de programme ont estimé que la surveillance était excessive. À différents moments de leur cycle de vie, les programmes peuvent être examinés par des comités directeurs internes et des comités consultatifs, des comités d’examen par les pairs externes uniques pour la conception de programmes, des comités de sélection de projets, des EMM et des CCCR et être tenus de faire rapport à ces différents organes. La mise en œuvre a varié d’un programme à l’autre, notamment avec l’ajout de CDP et différentes approches aux CCP dans certains programmes.

Il a été difficile de déterminer comment la surveillance pouvait être rationalisée ou consolidée, car elle n’est pas appliquée uniformément dans tous les programmes. Il peut être possible de normaliser la production des rapports de façon à ce que les programmes présentent les mêmes rapports d’étape aux comités, plutôt que des rapports uniques pour chacun d’eux.

Rôles et responsabilités : Bureau national des programmes

Bureau central nécessaire, mais attentes mitigées

Le rôle général du BNP en tant que fonction centrale d’administration et de soutien pour les programmes du PCSTI était clair et bien apprécié par les intervenants du programme. Toutefois, la mesure dans laquelle le BNP a contribué à l’orientation scientifique des programmes Défi, ou fourni des conseils sur les décisions de financement et les partenariats, variait d’un programme à l’autre.

Certains intervenants internes souhaitaient que le BNP joue le rôle de facilitateur entre les centres de recherche, les directions générales et le Programme d'aide à la recherche industrielle du Conseil national de recherches du Canada (PARI CNRC) afin de mieux faire connaître les programmes Défi et d’améliorer la collaboration au sein du CNRC. Le BNP l’a fait dans une certaine mesure, comme pour le PDRP, mais avait une capacité limitée pour remplir ce rôle.

« Les rôles et les responsabilités deviennent de plus en plus clairs. Le manque de clarté au début était nécessaire, étant donné qu’il faut une certaine souplesse dans les différents programmes Défi. »

« Le rôle du BNP doit être mieux défini, qu’il soit purement administratif ou qu’il exerce une fonction d’analyse critique. Je crois fermement que c’est là la faiblesse du système en ce moment. »

Les rôles des conseillers ou conseillères en investissement d’innovation (CII) sont différents d’un programme Défi à l’autre

En ce qui concerne le rôle de CII, il y avait en 2023 une confusion considérable et une différence d’expérience entre les programmes. Il n’y avait pas de consensus entre les directeurs de programme et les CII concernant la nature du rôle des CII. La question fondamentale est de savoir dans quelle mesure les CII étaient censés exercer une « fonction d’analyse critique », ce qui est rendu difficile par un mélange d’interprétations quant à ce que cette fonction implique. Dans la pratique, cette fonction a été exercée par les directeurs de programme et les comités de surveillance, en plus des CII (voir la fonction d’analyse critique à la section Processus et contrôles).

En plus de la diligence raisonnable administrative nécessaire, il est nécessaire de préciser la participation des CII à la prestation des conseils sur l’orientation des programmes et des projets, tant au niveau de l’élaboration que de l’exécution.

CII sans comparateur

L’étude comparative a révélé que les CII et leur rôle de liaison entre le BNP et les programmes de R-D étaient propres au PCSTI, ce rôle étant dicté par le modèle collaboratif unique du PCSTI.

Rôles et responsabilités : comités et services intégrés

L’influence des comités consultatifs varie

Les CCP ont été établis comme source de conseils impartiaux d’experts pour chaque programme Défi. Ce rôle général a été bien communiqué et compris par les intervenants du PCSTI. Les CCP comprennent des membres externes et internes, dont les employés du Programme d’aide à la recherche industrielle (PARI) du CNRC. Toutefois, les comités n’ont pas été mis en œuvre de façon uniforme et l’ont été à différents moments dans les cycles de vie des programmes.

Pour la plupart des programmes, les CCP ont joué un rôle important dans la remise en question et le renforcement de leur orientation stratégique globale. Dans certains cas, les CCP ont participé à la sélection de projets individuels, tandis que d’autres ont joué un rôle moins direct, plus consultatif. D’après les études de cas, les CCP avaient tendance à se concentrer soit sur des subventions plus importantes, soit sur des « projets-cadres ». Les membres du PARI ont apporté des points de vue de l’industrie aux programmes et les ont reliés aux entreprises. Par exemple, ils ont facilité la démonstration et les essais technologiques pour les intervenants du programme VCS.

Avis d’expert indépendant en tant que norme

Tout comme le PCSTI, les programmes de comparaison font appel à des experts externes indépendants et à des comités pour évaluer les propositions de projets sur le plan du mérite technique, fournir une orientation scientifique et une orientation stratégique à la gestion des programmes, et évaluer le rendement des projets et les répercussions des programmes.

Rôle non clair des services d’affaires du CNRC

Les intervenants internes qui fournissent des services de développement des affaires, de passation de marchés et d’autres services au BNP et aux programmes Défi ne connaissaient parfois pas bien leurs rôles et leurs responsabilités à l’égard des projets financés par le PCSTI. Pendant l’élaboration des accords de S et C dans le cadre du PCSTI, le personnel de développement des affaires n’a pas toujours participé au processus ou est intervenu tard dans le processus, ce qui a créé une ambiguïté quant au moment des décisions opérationnelles du CNRC et concernant la personne qui doit les prendre. Ces questions sont devenues encore plus compliquées en raison des différences entre les modèles hébergés par une division et ceux l’étant par un CR, ces derniers disposant de leurs propres ressources internes de développement des affaires.

Les accords bilatéraux de subventions et de contributions, qui constituaient la grande majorité des accords du PCSTI, ont été traités à l’interne par les CII au moyen d’un modèle standard, plutôt que d’être acheminés par les services contractuels du CNRC comme un accord de recherche concertée typique. Même si le BNP a demandé la contribution de l’équipe de passation de marchés du CNRC pour les accords plus complexes (c.-à-d. les accords multipartites, les collaborations internationales ou ceux qui nécessitent des modifications), l’existence de processus distincts avec des degrés divers de participation du personnel de l’organisation a aggravé les inefficacités.

Il est possible d’élaborer un processus particulier, avec des rôles et des responsabilités clairs pour les services d’affaires du CNRC, qui permettrait d’assurer des négociations et des vérifications appropriées.

Conformité au programme

Le caractère évolutif et la souplesse du programme ont maintenu la conformité

Lorsque le PCSTI a été lancé pour la première fois au cours de l’exercice 2019, il n’y avait pas de programme semblable au Canada (c.-à-d. un organisme fédéral qui travaille à la fois sur des projets de collaboration et fournit des S et C à ses collaborateurs externes). Le Secrétariat du Conseil du Trésor du Canada (SCT) a permis au CNRC de faire preuve de souplesse dans son interprétation de la Politique sur les paiements de transfert (PPT) en raison de la nature unique de la collaboration du PCSTI.

Dans un esprit d’amélioration continue, le BNP et le SCT ont travaillé ensemble à l’élaboration de changements aux modalités, afin d’assurer la surveillance et la conformité aux politiques tout au long de l’évolution du programme. Lorsque le PCSTI a commencé, ses modalités étaient relativement restrictives, en particulier en ce qui concerne l’admissibilité aux subventions, et exigeaient un niveau élevé d’examen pour tous les paiements. Cette approche était justifiée, car le PCSTI était un nouveau programme de financement pour le CNRC. Après 2 ans, le BNP a démontré sa compétence dans ce domaine et a été en mesure de modifier les modalités pour qu’elles soient plus souples. Il a élargi l’admissibilité aux subventions et a décidé d’effectuer un examen modéré des paiements.

Des modifications ont également été apportées en particulier aux modalités en réponse à la COVID-19 afin de mettre en œuvre le PDRP et d’accroître les possibilités d’obtenir des subventions pour les bénéficiaires autochtones.

Modifications aux modalités du PCSTI

Les changements au programme et sa croissance posent un risque

À mesure que le PCSTI évolue, le BNP doit continuer de travailler en étroite collaboration avec le SCT. Jusqu’à présent, le PCSTI s’est conformé aux lois fédérales grâce à des contrôles et à des processus suffisants pour gérer les S et C et l’administration financière.

Il y a un risque que le BNP ne dispose pas de ressources suffisantes pour maintenir la conformité à mesure que le programme évolue et s’accroît. Au cours des 5 dernières années, le BNP a fait du « rattrapage » pour les programmes Défi. Sa capacité à le faire sera de plus en plus réduite, car le nombre total de programmes Défi et les critères d’admissibilité du PCSTI continueront d’augmenter sans gains d’efficacité supplémentaire ni financement des opérations.

Viabilité et évolutivité du modèle : ressources du BNP

Les responsabilités du BNP pourraient surpasser ses ressources

L’élargissement du PCSTI poserait probablement des problèmes importants quant aux responsabilités et aux niveaux actuels du BNP en matière de ressources. La charge de travail relative du BNP a augmenté au cours de la période visée par l’évaluation, au-delà des attentes initiales du bureau. Le CNRC avait notamment prévu de lancer 3 nouveaux programmes Défi tous les 3 ans ou « cycles », mais il en a fait 4 par cycle, sans compter le PDRP.

À l’heure actuelle, le BNP dispose des ressources humaines nécessaires pour administrer des activités quotidiennes de S et C. En 2022, il était responsable d’environ 6 fois plus de projet qu’en 2019, avec seulement 2 fois plus de personnel. Le BNP a déployé des efforts pour formaliser ses systèmes, ses processus et ses outils afin d’appuyer la mise en œuvre et le suivi des programmes du PCSTI. Si les processus étaient améliorés, il pourrait réaliser les gains d’efficacité nécessaires pour gérer une charge de travail plus importante.

De nouvelles sources de financement ont été approuvées au cours de l’exercice 2024, ce qui a permis d’ajouter un volet d’intervention stratégique comportant des cycles de vie plus courts et un nouveau volet de prix Défi. L’attribution de nouvelles responsabilités au BNP (p. ex., remplir un rôle de liaison potentiel entre les centres de recherche) exacerberait les problèmes de ressources si la croissance du programme ne s’accompagne pas de fonds de fonctionnement supplémentaires ou de gains d’efficacité.

Figure 2 – Version textuelle

Graphique à colonnes empilées montrant le nombre de projets actifs du PCSTI dans les programmes Défi, des Fonds d’idéation et des programmes de soutien aux grappes par rapport au nombre total d’employés du BNP de l’exercice financier 2019 à l’exercice financier 2022. Le nombre de projets actifs du PCSTI est passé de 50 à 307. Le nombre total d’employés du BNP est passé de 17 à 38.

Exercice financier	RH (nombre total d’employés)	Projets actifs des programmes Défi	Projets actifs du Fonds d’idéation	Projets actifs des programmes de soutien aux grappes	Total des projets actifs du PCSTI
Exercice 2019	17	5	44	1	50
Exercice 2020	28	53	44	15	112
Exercice 2021	36	102	80	64	246
Exercice 2022	38	158	30	119	307

Source : RH du CNRC et base de données des projets du PCSTI.

Le PCSTI gère plus de projets par ressource

L’étude comparative a permis d’estimer que le ratio des coûts administratifs pour le BNP (10 %) se situait dans la fourchette des programmes de comparaison (8 à 10 %). Ce ratio permet de calculer le total des frais d’administration du programme par rapport au total des frais des S et C par année. Toutefois, le BNP gère un plus grand nombre de projets au total, tandis que les programmes comparés ont tendance à financer des projets plus importants, mais moins nombreux. De plus, les ententes sur les projets du PCSTI font appel à des collaborateurs internes et externes, ce qui en rend l’administration plus complexe.

Viabilité et évolutivité du modèle : participation des centres de recherche

Financement limité pour héberger les programmes et collaborer

Les hôtes des programmes Défi reçoivent un financement limité pour le fonctionnement et l’entretien (F et E). Après déduction des coûts d’orientation et d’administration du programme (directeurs de programme et salaires des rôles de soutien), les CR hôtes peuvent avoir relativement peu de financement pour les collaborateurs du CNRC. Cet enjeu a été repris par les EMM, qui ont permis de constater que les programmes du 1er cycle n’avaient pas les ressources internes nécessaires pour atteindre leurs objectifs ultimes.

L’ampleur de cet enjeu diffère d’un programme à l’autre. Certains hôtes ont eu accès à d’autres fonds pour le F et E par l’entremise d’autres sources, comme la production de recettes, d’autres fonds ministériels ou des présentations au CT pour des stratégies nationales connexes. Dans l’ensemble, les programmes ont été répartis en 3 camps :

• un tiers des programmes ont un financement réservé à l’administration (p. ex., au moyen d’autres sources)
• un tiers sont couverts par leur CR hôte
• un tiers utilise le financement de F et E du PCSTI (jusqu’à 60 %)

Alignement des priorités du CR sur les programmes Défi

Les hôtes des programmes ont reconnu qu’il peut être difficile d’établir un équilibre entre la participation à un programme Défi et d’autres priorités internes (p. ex., la production de recettes). Dans la mesure du possible, les hôtes ont aligné leur programme Défi sur d’autres priorités et projets, y compris les sources de financement, et ont donc renforcé leurs engagements envers le PCSTI par des ressources supplémentaires.

Un peu plus de la moitié des programmes (5 sur 9) ont demandé ou obtenu du financement de tiers ou ont lancé des projets de recettes (par opposition aux projets de S et C). À titre d’exemple, VCS, TCG et L’Arctique et Nord ont mis en œuvre des projets dans lesquels le CNRC et des collaborateurs externes cherchent collectivement à obtenir un financement de tiers (p. ex., VCS et TCG tirent parti du financement des Instituts de recherche en santé du Canada, et L’Arctique et le Nord, du programme de recherche Canada-Inuit Nunagat-Royaume-Uni). D’autres programmes, comme le MCP, ont inclus des projets de services de recherche dans leur portefeuille de programmes Défi.

Les CR non-hôtes doivent établir un équilibre entre les Défis et les autres priorités

De même, les CR non-hôtes doivent établir un équilibre entre la participation au programme Défi et d’autres priorités et les harmoniser lorsque c’est possible. Les CR ont estimé qu’ils devaient réduire leurs budgets d’activités et d’opérations ordinaires afin d’appuyer les programmes Défi, qu’ils considéraient comme un contrepoids aux objectifs de recettes et à d’autres produits livrables stratégiques. En même temps, les CR n’ont pas été clairement informés que les programmes Défi constituent une priorité organisationnelle et qu’ils doivent budgétiser et planifier en conséquence.

Efficacité du modèle : faire progresser la recherche de pointe

Changement incrémentiel, mais pas encore une « percée »

On ne sait pas vraiment comment le PCSTI donne la priorité aux recherches les plus prometteuses et définit le succès de chaque programme Défi. Le modèle n’offrait pas de structure permettant de se concentrer sur l’obtention de solutions tangibles pour la population canadienne. À ce jour, les programmes ont financé une gamme de projets, chacun avançant un peu sur l’échelle du niveau de maturité technologique (NMT), mais ne semblaient pas gérer systématiquement leur portefeuille de projets en fonction des résultats prévus. Les personnes interrogées à l’interne étaient divisées sur la question de savoir si le modèle appuie la recherche de pointe, mais étaient généralement d’accord sur le fait que la faible attention accordée au NMT empêcherait les Canadiens d’effectuer des percées dans la limite du cycle de vie de 7 ans des programmes.

À ce jour, il ne semble pas que le modèle de programme fasse passer la recherche prometteuse à un niveau supérieur lorsqu’il existe un potentiel de commercialisation à court terme ni qu’il mette fin à l’activité lorsque ce potentiel n’existe pas (comme le modèle DARPA). La taille des S et C a été relativement uniforme au cours des 5 premières années des programmes du premier cycle, ce qui laisse entendre que les programmes ne concentrent pas les ressources sur une plus petite sélection de projets après le point médian. Ce fait a été confirmé par les examens de mi-mandat qui ont permis de constater que les objectifs des programmes du 1er cycle étaient trop ambitieux compte tenu de leur calendrier et ont suggéré que les programmes visent à développer la technologie et à faciliter l’attraction de l’industrie.

Figure 3 – Version textuelle

Graphique en forme d’haltère montrant le NMT moyen des projets au lancement et le NMT moyen des projets achevés pour les programmes PDRP, IASC, TGC, MCP et RSHD.

Programme Défi	NMT moyen au lancement	NMT moyen à la fin
PDRP	3,7	5
IASC	1,75	4,75
TGC	2,5	3,75
MCP	2,14	3,57
RSHD	2,27	3,5

Source : Progression autodéclarée du NMT à partir des rapports de clôture des projets (RCP) du cycle 1 (n=44).

Modèles pour la recherche transformative

Les modèles de comparaison étrangers présentent un autre modèle pour réaliser une percée dans la recherche. ARPA-E et EIC Pathfinder se concentrent uniquement sur les projets à risque élevé, à haut risque et à haut rendement, aux premières étapes (NMT 1 à 5), plutôt que sur l’ensemble du continuum des NMT, comme le fait le PCSTI. Une fois terminés, les projets les plus prometteurs sont ensuite poursuivis par des programmes internes qui visent la mise à échelle (NMT 6 à 10), afin d’apporter de nouvelles technologies sur le marché. Le programme Pathfinder de 3 ans, par exemple, est lié à un programme de transition de 1 an et à un programme de commercialisation de 3 ans—la même durée de 7 ans que la plupart des programmes Défi.

Efficacité du modèle : amélioration de la collaboration externe

Mobiliser des collaborateurs passés et nouveaux

Les programmes de Défis ont renforcé la collaboration avec les chercheurs externes et la rétroaction sur les collaborations de la part des bénéficiaires de S et C et des chercheurs du CNRC ont été positives. Ils ont créé des partenariats avec des acteurs dans leurs domaines respectifs, en tirant parti d’une expertise et d’installations uniques et complémentaires pour atteindre leurs objectifs.

La disponibilité de subventions importantes a été particulièrement efficace pour attirer des collaborateurs universitaires; la plupart des projets financés (85 %) appartenaient à des établissements universitaires. En 3 ans, le CNRC et les bénéficiaires des S et C ont coécrit plus de 240 publications et déposé plus de 40 demandes de brevet.

Les programmes ont attiré de nouveaux collaborateurs externes pour travailler avec le CNRC. Selon les rapports de clôture des projets (RCP) pour les programmes du cycle 1, un peu plus de la moitié (55 %) des chercheurs principaux (CP) n’avaient pas travaillé auparavant avec le CNRC. Toutefois, les RCP n’étaient disponibles que pour 2 projets terminés sur 5. Par conséquent, il n’est pas possible de conclure définitivement que la plupart des CP étaient de nouveaux collaborateurs du CNRC.

Figure 4 – Version textuelle

Diagramme à colonnes montrant les résultats des programmes de la ronde 1 en termes de publications cosignées, de divulgations d’inventions et de demandes de brevets.

Exercice financier	Publications cosignées	Invention disclosures	Patent applications
Exercice 2020	53	10	6
Exercice 2021	108	23	23
Exercice 2022	81	8	13

Source : Base de données des résultats des programmes du PCSTI (BNP).

Programmes chargés de mobiliser davantage l’industrie

Lors de l’EF 2023, seulement 5 % des collaborateurs externes étaient des entreprises. Même si l’on peut s’attendre à ce que la mobilisation de l’industrie soit faible dans la 1re moitié des cycles de vie des programmes (c.-à-d. premiers NMT), EIC Pathfinder a eu une participation de l’industrie de 22 % pour des programmes à une étape semblable.

De façon générale, les programmes Défi du CNRC prévoyaient transférer la technologie à l’industrie plutôt que la développer conjointement. Selon les RCP, 47 % des bénéficiaires de S et C estimaient que la commercialisation dans les 5 à 10 ans était très probable.

Les organismes de surveillance des programmes ont recommandé que les programmes utilisent la dernière moitié des cycles de vie pour mettre en œuvre des modèles visant à faire bouger l’industrie. Les CCP et les examinateurs de mi-mandat ont souligné le rôle essentiel que l’industrie devrait jouer dans la mise sur le marché des technologies appuyées par le PCSTI afin de relever les défis respectifs des programmes. Parmi les obstacles à ce virage vers l’industrie, on compte la pandémie de la COVID-19 et le financement limité disponible pour attirer les grandes entreprises.

Efficacité du modèle : amélioration de la collaboration interne

Centres de recherche collaborant sur les défis

Le modèle a démontré son efficacité à améliorer la collaboration au niveau des programmes dans l’ensemble du CNRC, le PCSTI agissant comme « programme de changement » pour le CNRC. Il a chargé les CR de diriger des projets qui contribuent à relever des défis communs. Cela a nécessité un changement de culture important pour les CR et les efforts à cet égard continuent.

• Les programmes du 1er cycle ont fait preuve d’une collaboration limitée à l’intérieur du CNRC. En moyenne, chaque programme a mobilisé 3,5 CR, mais 85 % des projets ont été réalisés par leur CR hôte. Cela peut être attribué à une connaissance limitée du nouveau modèle (les S et C pour les externes sans financement pour les non-hôtes) et à un manque de participation précoce au leadership du CR lors de la conception du programme, ce qui, à son tour, a entravé le changement de culture nécessaire.
• Les programmes du 2e cycle ont fait preuve d’une importante collaboration à l’intérieur du CNRC et ont été moins dominés par un seul CR. En moyenne, chaque programme comprenait 5,3 CR et seulement la moitié (49 %) des projets étaient dirigés par leur CR hôte ou un seul CR. Cette constatation peut être attribuée à de multiples facteurs, dont une plus grande familiarité avec le modèle, l’adoption du modèle hébergé par une division par certains programmes et la capacité de certains hôtes à obtenir un financement supplémentaire pour le F et E (ce qui réduit les coûts de participation).

Figure 5 – Version textuelle

Graphique à colonnes empilées à 100 % montrant le pourcentage de projets dirigés par le CR responsable ou principal par rapport au pourcentage de projets dirigés par d’autres CR, par programme Défi. Davantage de CR dirigent des projets de programme dans la ronde 2 par rapport à la ronde 1.

Programme Défi	Pourcentage de projets menés par le CR responsable ou primaire	Pourcentage de projets menés par d’autres CR
IASC	81	19
TGC	90	10
RSHD	73	27
MCP	97	3
PDRP	58	42
VCS	40	60
PDAN	50	50
CQ	50	50

Source : Base de données des projets du BNP (avant le lancement de l’IQA).

Amélioration continue

Des améliorations sont possibles

Le BNP et la haute direction ont reconnu que le PCSTI reste, en partie, un travail en cours. Il faut des processus plus rationalisés et normalisés ainsi que des systèmes intégrés au niveau du BNP. Le PCSTI a été lancé lorsque le BNP et ses processus et outils étaient encore en cours d’élaboration. Certains enjeux constatés par le BNP dans le cadre d’un examen des politiques et des processus au cours de l’exercice 2021 n’ont toujours pas été résolus, ou les mesures d’atténuation sont toujours en cours d’élaboration. Au cours de l’exercice 2024, le BNP a établi une feuille de route pour la trousse d’outils du PCSTI afin de mettre en œuvre les mesures restant à prendre au cours de l’année.

En fin de compte, il est nécessaire d’assurer la souplesse et l’autonomie au niveau du programme, en les équilibrant avec des structures et des processus communs afin de maintenir une surveillance, des ressources et des rapports appropriés. Les programmes ont été administrés et financés de façon unique, ce qui a donné lieu à des expériences mitigées parmi les responsables de programme.

Les responsables font état de ce qui fonctionne

L’amélioration continue est soutenue par la CdP des directeurs de programme, une plateforme qui permet de déterminer les problèmes communs, d’échanger les pratiques exemplaires et de répondre de façon uniforme aux attentes du BNP et des cadres supérieurs.

À l’automne 2022, la CdP, sous la direction du président, s’est réunie pour discuter des défis liés à l’exécution des programmes, notamment leur administration et leur financement, la collaboration interne du CNRC et la surveillance des programmes. Les discussions ont repris au printemps 2023 pendant la planification stratégique des divisions et des centres de recherche. La CdP n’a formulé aucun plan officiel ni aucune recommandation du genre et, sur certaines questions, à savoir la surveillance, attend les résultats de cette évaluation.

Le PDRP, « cas d’essai » d’une intervention rapide

Le PDRP a suivi le cycle de vie complet du programme, de son établissement à son achèvement 2 ans plus tard. Selon un rapport sur les leçons tirées préparé par les dirigeants et les équipes du PDRP, les programmes élaborés dans des délais serrés et dans des circonstances atténuantes bénéficient des avantages suivants :

• un programme multidisciplinaire lance une équipe spéciale, et l’intégration de la gouvernance du BNP et CNRC (c.-à-d., y compris le CII au sein du comité de gestion du programme)
• adoption d’une approche de portefeuille en matière de gestion des programmes et des risques (avoir un portefeuille de projets à risque faible ou élevé pour atténuer les risques au niveau du programme)

Au cours de l’exercice 2023, le BNP a appliqué certaines de ces leçons dans le cadre des changements apportés aux modalités du PCSTI, ajoutant officiellement un modèle d’intervention rapide comme solution de rechange au programme standard de 7 ans.

Processus et contrôles

Les processus et les contrôles du PCSTI ont été adéquats pour appuyer la mise en œuvre du programme, mais ils ne sont pas nécessairement aussi efficaces qu’ils pourraient l’être. Dans l’ensemble, le PCSTI a été lancé avant que le BNP ne puisse élaborer complètement les processus et les contrôles. Par conséquent, le BNP n’a cessé de faire du « rattrapage » au cours des 5 dernières années, élaborant la structure nécessaire à l’appui des objectifs de la R-D collaborative du PCSTI, tout en donnant suite aux changements quasi semestriels des modalités du PCSTI et à l’augmentation du nombre total de programmes Défi.

Uniformité des processus

L’incohérence entre les programmes pourrait nuire au modèle

Les programmes ont mis en œuvre leurs propres processus, pour lesquels les quantités de documentation et de données recueillies diffèrent. Étant donné que la souplesse est une caractéristique du modèle, on peut s’attendre à un certain manque de cohérence. Toutefois, les processus et les outils pourraient être normalisés pour appuyer la gestion des programmes et de l’information. En 2023, un guide pratique pour les directeurs de programme était en cours d’élaboration. Ce guide fournirait des orientations normalisées dont le personnel du programme actuel et futur a grandement besoin, tout en permettant une certaine souplesse.

La conception et l’élaboration de chaque programme Défi suivent une série d’étapes communes. Des différences ont toutefois été observées en ce qui concerne l’élaboration de sous-thèmes ou de « piliers » entre les programmes pris comme études de cas. Les programmes déjà étudiés, le RSHD et le PDRP, ont bâti leurs piliers de recherche autour des capacités internes du CNRC. Cette stratégie risquait de perpétuer les approches existantes des activités de recherche, même si pour le PDRP cela était justifié par la nécessité d’agir rapidement. Le programme VCS, un programme du 2e cycle, a bâti ses piliers sur le plan thématique autour du « défi » lui-même, qui s’harmonise mieux avec l’intention du PCSTI d’encourager la collaboration à l’intérieur et à l’extérieur du CNRC.

Les processus au niveau du BNP ont besoin d’un cadre et d’un guide

Les processus au niveau du BNP sont mis en œuvre de façon généralement uniforme (p. ex., les processus des S et C, les paiements) et ont été jugés conformes à la Politique sur les paiements de transfert (PPT). Le BNP a schématisé certains de ses processus au cours des dernières années, notamment le processus de son contrôle financier et de la demande de remboursement, afin d’assurer la conformité du programme à la PPT et d’améliorer l’efficacité. Toutefois, il utilise généralement des formulaires et des modèles pour orienter les processus, plutôt qu’un cadre global. En outre, comme il a déjà été dit, un guide pour les bureaux locaux spécifiquement destiné aux CII permettrait de mieux définir les rôles et les responsabilités des titulaires de ces postes.

Un cadre global du PCSTI peut équilibrer la structure et la flexibilité. Par exemple, un cadre pourrait contenir des principes directeurs, schématiser et définir l’intention des processus fondamentaux, tout en permettant une mise en œuvre souple tant que les programmes respectent les principes. Ce cadre global permettrait de réduire les incohérences dans la mise en œuvre, la gestion et la surveillance des programmes, tout en permettant aux programmes de mettre en œuvre les processus axés sur les risques et visant à répondre à leurs besoins uniques. Un cadre des programmes servirait également de point d’ancrage à un guide pratique pour les CII.

Contrôles internes

Possibilité de calibrer les contrôles

Des contrôles internes pour la diligence raisonnable, l’approbation et la surveillance des projets sont en place. Les personnes interrogées au BNP ont indiqué que la diligence raisonnable et les contrôles internes sont généralement appropriés, mais parfois excessifs, puisque le même niveau de contrôle est requis, peu importe le montant du financement. Les dirigeants du BNP ont soutenu que des contrôles rigoureux étaient justifiés dès le début du PCSTI, puisque c’était un nouveau programme administré par un nouveau bureau.

Maintenant qu’il a prouvé sa compétence, tant à l’interne qu’avec le SCT, le BNP a la possibilité de calibrer les contrôles en fonction des particularités du projet (p. ex. taille, subvention ou contribution, cote de risque). Les personnes interrogées à l’interne ont noté la relation entre la diligence raisonnable et le risque, lorsque les processus pourraient s’améliorer si les outils fondés sur le risque étaient normalisés. Dans un premier temps, le PCSTI n’a pas tiré parti, dans la mesure du possible, des processus existants du PARI du CNRC, longtemps utilisés pour les ententes de contribution. Pour corriger cette situation, le BNP a récemment embauché un employé du PARI du CNRC possédant une expertise de la PPT pour guider la révision de ses instruments de financement, de ses processus et du cadre de son modèle de risque.

« C’est le même niveau de rigueur qui est exigé, quel que soit le montant. Dans certains cas, le niveau de rigueur est approprié pour le montant, mais parfois, c’est trop lourd. »

Le PCSTI choisit des subventions plutôt que des contributions

Jusqu’à présent, le BNP a préféré utiliser des subventions plutôt que des contributions. Les personnes interrogées ont indiqué que les programmes utilisent des subventions pour les partenaires universitaires, principalement pour le personnel hautement qualifié (PHQ). En ce qui concerne les contributions, les employés du BNP ont indiqué que les ententes de contribution sont utilisées pour des projets plus complexes. Elles exigent plus d’efforts en ce qui a trait à la documentation et aux exigences régissant les demandes de remboursement fondées sur des jalons, tant pour l’élaboration que pour la mise en œuvre des accords. Les changements apportés aux modalités au cours de l’exercice 2021 ont permis au PCSTI de décaisser des fonds presque entièrement sous forme de subventions (96 % de tous les accords de l’exercice 2023, contre 78 % pour l’exercice 2022).

S’appuyer sur l’expérience antérieure du CNRC en S et C

Le PCSTI a évité certains des problèmes que l’ancien Programme canadien des accélérateurs et des incubateurs (PCIA) du CNRC a connus, décrits dans le rapport d’évaluation de ce programme en 2019. Le PCIA a appuyé une vaste gamme d’activités et de coûts, au-delà des frais indirects et des salaires, une approche qui, dans la pratique, exigeait un examen régulier ligne par ligne des factures. Dans le cas du PCSTI, l’admissibilité à la subvention est déterminée dès le début, ce qui nécessite relativement peu de suivi, et les contributions sont généralement destinées aux salaires, évitant ainsi des examens exigeants.

Conflits d’intérêts

Le BNP a cerné et géré des cas de conflits d’intérêts (CdI)

Le BNP a déployé des efforts soutenus pour améliorer l’identification et la gestion des CdI en perfectionnant ses processus, en sensibilisant les intervenants du programme (surtout le personnel du CNRC) et en incluant les formulaires sur les CdI à des étapes précises des programmes et des projets. Ce contrôle sera particulièrement important si le PCSTI continue de croître, tant en ajoutant de nouveaux programmes qu’en élargissant les critères d’admissibilité, ce qui augmentera l’exposition au risque.

Le BNP a collaboré avec l’équipe des valeurs et de l’éthique du CNRC pour renforcer la gestion des CdI. Au cours de l’exercice financier 2021, le bureau a mis en œuvre l’Attestation en matière de conflits d’intérêts pour les chercheurs principaux (CP) du CNRC dans le but de cerner et de gérer les problèmes de CdI au niveau du projet. Le PCSTI peut renforcer davantage son processus et assurer un examen régulier de l’attestation des CP du CNRC, de la même façon que ce qui est exigé pour les participants externes. Étant donné qu’il existe de multiples sources potentielles de CdI réelles ou perçues, il peut être prudent pour les employés de CNRC de réexaminer leur situation chaque fois qu’ils signent une nouvelle entente de collaboration.

Sources potentielles d’un CdI réel ou perçu :

• relations existantes entre le CNRC et un bénéficiaire éventuel
• les CP du CNRC qui occupent un poste dans les organisations bénéficiaires (milieu universitaire en particulier)
• membres du comité qui sont des bénéficiaires réels ou éventuels
• évolution des relations avec les bénéficiaires (p. ex. embauche d’étudiants, entreprises dérivées)

Le comité sur les risques de CdI est unique, mais bien géré

Les CdI pour les membres externes des CEEP et des CCP sont bien gérés. Après leur sélection, les membres sont tenus de signer les formulaires de déclaration de confidentialité et de déclaration de CdI, et d’accepter de revoir et de mettre à jour leurs déclarations régulièrement ou dès que leurs intérêts changent.

L’exigence d’un examen régulier d’un CdI est importante pour tous les intervenants, étant donné que les programmes Défi ont une durée de 7 ans et que les projets de recherche peuvent durer 3 ou 4 ans. Un CdI potentiel avec les membres des comités externes est un problème auquel font face de nombreux programmes, notamment les programmes de comparaison avec le PCSTI. C’est particulièrement vrai pour ceux qui font partie d’un écosystème de recherche relativement petit. Le nombre de comités uniques requis par le PCSTI exacerbe cet effet, car il épuise rapidement le bassin de candidats disponibles.

Efficacité des processus : possibilité d’intégrer des processus

Les processus sont généralement efficaces, et se sont améliorés au fil du temps

Dans l’ensemble, les processus du PCSTI sont efficaces pour la mise en œuvre des programmes Défi, de sorte que :

• des subventions et des contributions sont accordées
• les paiements de transfert sont gérés de manière appropriée

En règle générale, les bénéficiaires des S et C ont donné une rétroaction positive sur les processus du PCSTI :

• la direction du programme était mobilisée et accommodante
• il était facile de communiquer avec les CII et ces derniers ont fourni un bon soutien
• les bénéficiaires étaient satisfaits du niveau de collaboration avec les chercheurs du CNRC

Les intervenants internes ont pris note des améliorations apportées par le BNP, y compris la rationalisation et la simplification des processus (p. ex. modifications à l’entente). Le CNRC y est parvenu en partie en faisant appel à des cadres supérieurs ayant une importante expérience en S et C.

« Nous avons établi des processus. Nous avons développé des processus au fur et à mesure. Nous les avons améliorés constamment au cours des 5 premières années. Nous n’avons commencé avec rien et sans ressources humaines. »

L’intégration des processus est utile, mais représente un gros investissement

Les intervenants internes du BNP ont indiqué le besoin d’un système intégré de gestion des relations avec les clients (SGRC). Les outils et les processus opérationnels ne sont pas actuellement intégrés, car les différentes phases des programmes et des projets utilisent différentes plateformes logicielles (la gestion de projets se fait au moyen d’une combinaison de courriels, de feuilles de calcul et d’autres logiciels).

Un SGRC ou tout autre système intégré pourrait aider le personnel du programme, les bénéficiaires des S et C et d’autres intervenants du programme à mettre en œuvre efficacement les processus. L’intégration exigerait un niveau important d’efforts en raison des différents systèmes utilisés à l’heure actuelle. Pour que l’intégration soit un succès, il pourrait être nécessaire d’avoir un cadre global schématisant de manière exhaustive les processus du PCSTI, cadre qui fait actuellement défaut. Par conséquent, le niveau de préparation du BNP à mettre en œuvre un SGRC, ainsi que le coût qui serait associé, pourrait être prohibitif.

Les programmes canadiens et internationaux intègrent les systèmes

IIC, ARPA-E et EIC utilisent des portails Web pour intégrer les processus et faciliter l’échange d’information entre le personnel du programme, les pairs examinateurs et les bénéficiaires externes du financement. Par exemple, ils peuvent être utilisés pour soutenir le traitement des documents et des données, les demandes de projet, l’élaboration et la sélection des projets, la production de rapports et la surveillance des projets, ainsi que les communications.

Efficacité des processus : possibilités de renforcer le modèle

Collaboration entre les CR

Il n’existe pas de structures ou de processus officiels pour soutenir la collaboration entre les CR. Les directeurs de programme ont suggéré que le BNP joue le rôle de facilitateur, ce qui pourrait être possible par la participation directe ou la maintenance d’outils partagés. Le soutien officiel pour la collaboration croisée peut accroître la sensibilisation aux programmes Défi et aux capacités des centres de recherche, réduisant ainsi les obstacles à la collaboration intra-CNRC. Notez que cela ajouterait des responsabilités pour le BNP.

Propriété intellectuelle et transfert de technologie

La structure nécessaire pour commercialiser les solutions découlant des projets d’un programme Défi, à savoir les processus de gestion de la propriété intellectuelle (PI) et le transfert de technologie, était sous-développée.

Les processus de PI étaient suffisants pour des projets à faible NMT et dont la commercialisation à court terme était peu probable. Toutefois, ils n’étaient pas bien définis pour les projets dont le NMT était plus élevé ou pour des situations plus complexes. Le droit à lapropriété intellectuelle co-développée était négocié sur une base ad hoc au moyen d’accords de propriété intellectuelle distincts des accords de collaboration du projet.

Les mécanismes de transfert de technologie n’étaient pas bien élaborés et aucun plan clair n’était en place pour faire progresser les résultats de la recherche au-delà des cycles de vie des programmes.

Évaluation des risques liés aux projets

Les évaluations des risques liés à des projets semblent avoir été effectuées subjectivement par les CII (c.-à-d. sans méthode normalisée) et la mise en œuvre varie. Une approche normalisée de l’évaluation de ces risques, avec des critères de classement objectifs, renforcerait la diligence raisonnable du BNP.

De plus, ces évaluations ne tiennent compte que des risques liés au financement (c.-à-d. la probabilité que le bénéficiaire exécute le projet) et sont effectuées après la sélection du projet. On ne sait pas comment les propositions de projet sont évaluées pour le risque technique afin de déterminer la recherche à haut risque et à haut rendement conformément au modèle du PCSTI.

Déterminer les défis

Processus d’identification adéquat, quoique non structuré

Le CNRC a cerné les défis à relever en réponse aux priorités fédérales à mesure qu’elles étaient établies. Cette approche a permis au PCSTI de réaliser ce qui suit :

• harmoniser les capacités existantes des divisions et des CR avec celles d’autres initiatives et organismes fédéraux
• mobiliser des sources de financement pour d’autres S et C et F et E, en plus du financement initial du PCSTI dans le budget de 2019

Par exemple, à la suite du budget de 2021, le CNRC a établi le défi IQA afin d’aligner ses travaux sur la Stratégie quantique nationale et a obtenu un financement supplémentaire pour son programme de capteurs quantiques préexistant, Internet des objets: Capteurs quantiques. Cette approche se poursuit pour les programmes en cours d’élaboration en 2023 (p. ex. la Stratégie canadienne sur les minéraux critiques, l’Initiative canadienne pour des maisons plus vertes).

Toutefois, cette approche n’était pas structurée et ne comportait pas de processus normalisés permettant de déterminer les défis ou le nombre des programmes pouvant être lancés simultanément. Certains DG ne savaient pas comment ils pouvaient eux-mêmes relever un défi et recommander un nouveau programme. La mise en place d’une structure du processus de détermination pourrait permettre aux CR d’aligner leurs activités sur les nouvelles priorités fédérales et de recommander de nouveaux programmes Défi.

Processus normalisés pour l’élaboration des programmes

Les processus sont plus formels et cohérents après la détermination des défis et pour la conceptualisation des programmes. Avant de lancer un nouveau programme Défi, il faut entreprendre des activités standard comme l’évaluation externe par les pairs et une présentation au CRFP. Étant donné que le CRFP n’a été mis en place que récemment, il est trop tôt pour déterminer si cette structure permettra de rationaliser l’élaboration et l’approbation des propositions de programme. De même, on n’a pas encore clairement défini quel rôle joueront dans ces processus les comités directeurs qui seront créés à cette fin.

Les intervenants externes sont ensuite mobilisés pour fournir une assistance à l’élaboration des programmes dans le cadre de diverses activités, notamment des réunions et entrevues individuelles, des présentations, des ateliers et des sondages. Cela permet de s’assurer que les programmes ne sont pas conçus isolément.

La plupart des projets sont conformes aux objectifs du programme Défi

Les approches adoptées pour l’élaboration des piliers des programmes ont été incohérentes, ce qui peut donner lieu à différentes approches en matière de gestion du portefeuille de projets et de stratégies de mobilisation. Toutefois, les examens de mi-mandat des programmes ont montré que les piliers et les projets sont généralement bien alignés sur leurs défis externes respectifs.

Fonction d’analyse critique

La fonction d’analyse critique n’est pas pleinement exercée

Les documents constitutifs des programmes du PCSTI établissent un lien entre la fonction de remise en question et le modèle DARPA, qui est décrit comme une surveillance des jalons et des produits livrables du projet pour atteindre les objectifs ultimes du programme. Cette fonction est distincte du « défi » sociétal qu’un programme donné vise à relever. Il s’agit plutôt d’une fonction interne qui consiste à « remettre en question » les programmes eux-mêmes. Au sein du PCSTI, la fonction est généralement répartie entre les CII, les CEEP, les CCP et les EMM (qui comprennent les comités d’examen par les pairs). Toutefois, les comités, à savoir les CCP, ne semblent pas jouer un rôle autre que la réception et la sélection de projets.

Étant donné que la fonction est répartie et exercée de façon incohérente, rien ne montre que l’activité de recherche soit en fait remise en question. Des études de cas ont révélé que la plupart des propositions de projet étaient intégrées dans les propositions des programmes Défi et qu’elles étaient donc examinées et approuvées collectivement en même temps que leur programme respectif. Nous ne disposions pas de renseignements pour déterminer la proportion de projets qui, le cas échéant, ont pris fin parce qu’ils ne correspondaient plus au programme ou qu’ils n’étaient pas exécutés comme prévu.

Les conseillers ou conseillères en investissements d’innovation (CII) et les directeurs n’exercent pas la fonction d’analyse critique de la même façon

Les CII ont indiqué qu’il fallait faire la distinction entre une fonction d’analyse critique « réelle » (c.-à-d. remettre en question la sélection de projets et la gestion du portefeuille scientifique) et la fonction administrative de la gestion des S et C (c.-à-d. assurer l’harmonisation des programmes et le respect des modalités). D’après leur expérience de l’industrie et de la gestion de programmes de recherche, certains CII estiment qu’ils devraient exercer les 2 fonctions. Cela a causé de la frustration pour certains qui estiment que leurs capacités sont sous-utilisées. En comparaison, les CII ont des compétences semblables à celles des conseillers en technologie industrielle (CTI) du PARI CNRC, mais ont moins d’influence sur l’orientation des S et C et les activités de recherche.

Les directeurs de programme considèrent que la fonction d’analyse critique des CII est principalement axée sur le financement des activités de S et C, la conformité aux modalités du PCSTI et la surveillance des jalons et des produits livrables du projet. C’est ce qui a été réalisé au fil du temps. À mesure que le PCSTI élargissait l’admissibilité aux subventions, davantage de subventions ont été accordées par rapport aux contributions. Cette approche a donné moins de possibilités aux CII de remettre en question la pertinence et l’orientation continues des projets, étant donné qu’il y a moins de possibilités de le faire avec une entente de subvention qu’avec une entente de contribution.

Fonction d’analyse critique pour la gestion du portefeuille

EIC Pathfinder utilise un processus de sélection de projets en 2 étapes pour remettre en question la recherche. Des pairs examinent d’abord les propositions pour s’assurer que celles-ci font preuve d’excellence scientifique. Ensuite, les responsables des programmes examinent de façon holistique les propositions qui ont franchi le 1er stade afin de créer un portefeuille de projets plus petit et complémentaire.

Efficacité des processus

Quelques preuves d’une efficacité accrue

Les intervenants internes et externes ont constaté que les processus étaient devenus plus efficaces au cours des 5 premières années du PCSTI et ont souligné certaines améliorations :

• une surveillance financière (semblable au PARI CNRC) impliquant des cotes de risque intégrées a été établie, ce qui a permis de rationaliser les paiements
• un plus grand pouvoir de signature a été accordé aux CII et une matrice d’évaluation des risques a été introduite, ce qui a simplifié l’approbation des ententes

Dans l’ensemble, les bénéficiaires de S et C étaient généralement satisfaits des processus du PCSTI. Toutefois, les bénéficiaires de contributions étaient plus susceptibles d’avoir des problèmes avec les processus. Cela correspond aux points de vue des employés internes qui ont affirmé que les contributions étaient plus difficiles à administrer comparativement aux subventions. Les intervenants internes et externes ont également noté qu’il reste des aspects à améliorer, dont :

• la complexité des processus relatifs aux ententes de contribution et au paiement des demandes de remboursement
• le volume et la clarté des exigences en matière de rapports
• la complexité des accords de collaboration et des processus de développement connexes

Depuis le printemps 2023, le BNP schématise et examine son processus de paiement des demandes de remboursement dans le but d’accélérer la prestation du service.

Figure 6 – Version textuelle

Diagramme à barres montrant le pourcentage de bénéficiaires de subventions et de contributions qui se sont déclarés satisfaits du processus du PCSTI. Le pourcentage de bénéficiaires de contribution est inférieur au pourcentage de bénéficiaires de subventions.

Question sur les rapports de fin de projet	Pourcentage de bénéficiaires de subventions (n=30) ayant donné une réponse positive	Pourcentage de bénéficiaires de contributions (n=14) ayant donné une réponse positive
Les fonds sont reçus en temps utile	93	57
Les processus sont bien compris et efficaces	87	43
Les obligations de présentation de rapports ne sont pas trop lourdes	80	50

Source : Rapports de clôture de projet (RCP) du cycle 1 (n=44); % de ceux qui sont quelque peu d’accord ou fortement d’accord.

Des lacunes importantes dans les données entravent le suivi de l’efficacité

Il n’a pas été possible d’évaluer l’efficacité des processus tout au long des cycles de vie des programmes et des projets en raison de 3 importantes limitations :

1. le BNP ne dispose pas d’un cadre détaillé ni d’une carte des processus pour définir et suivre ses processus
2. la saisie de l’information administrative est insuffisante pour permettre l’analyse et la quantification de l’efficacité des processus
3. à l’heure actuelle, il n’y a pas de normes de service ni de critères d’efficience pour procéder à une comparaison

Le BNP a indiqué qu’il peut être difficile d’établir des normes de service en raison de la variété des programmes et des sources de financement au PCSTI, ce qui pourrait être aggravé par les modifications des modalités au cours de l’exercice 2024, et par l’absence d’un système intégré de gestion de l’information.

Analyse comparative entre les sexes plus (ACS Plus)

L’ACS Plus et l’équité, la diversité et l’inclusion (EDI) prises en compte dans la conception des programmes et des projets

Le PCSTI a démontré la prise en considération de l’ACS Plus et de l’EDI dans sa conception globale, au niveau des programmes Défi et au niveau des projets.

• Niveau du PCSTI : Les présentations au CT contenaient certains engagements concernant l’ACS Plus (p. ex., exiger que les comités évaluent les propositions de programme et de projet selon une perspective intersectorielle), mais la plupart des engagements se rapportaient à l’EDI (p. ex., cibles d’embauche pour les programmes hôtes et les collaborateurs). Les modifications apportées aux modalités en 2021 ont favorisé l’inclusion des Autochtones en augmentant la gamme des activités et des types de bénéficiaires admissibles.
• Niveau du programme : L’ACS Plus a été prise en compte dans l’élaboration des programmes Défi, mais à des degrés divers. Des responsables de 2 des 3 programmes servant d’étude de cas ont examiné comment ils peuvent avoir un impact unique sur des populations particulières. Par exemple, le programme VCS a réuni un groupe « d’experts par expérience » pour des adultes de 65 ans et plus ou leurs aidants afin donner des conseils sur l’orientation du programme et participer à la recherche. Le facteur EDI a fait l’objet de moins d’attention, un seul programme offrant les moyens de cibler des groupes particuliers visés par l’équité pour la publicité et l’emploi.
• Niveau du projet : Il y a des éléments prouvant que les principes de l’ACS Plus sont intégrés au niveau du projet. Par exemple, un projet utilisant des capteurs pour mesurer l’oxygène dans le cerveau teste des personnes présentant diverses pigmentations cutanées, car cette caractéristique peut avoir une incidence sur la précision du capteur. Dans le cadre du Programme Défi de l’Arctique et du Nord, tous les projets nécessitent des collaborateurs issus des populations arctiques et nordiques.

Limites de la collecte de données

On n’a pas recueilli des renseignements sur la diversité de l’effectif du CNRC au niveau du PCSTI, notamment sur la question de savoir si les chercheurs qui travaillent sur le programme reflétaient ou non les cibles du CNRC en matière d’EDI. En raison de la complexité de l’attribution de nouveaux employés de CR pour le financement du PCSTI, le BNP prévoit élaborer de nouvelles mesures pour les réalisations de l’ACS Plus au niveau du PCSTI (plutôt que de l’EDI).

Pour chaque programme Défi, le BNP suit principalement les progrès réalisés pour les indicateurs liés à l’ACS Plus au moyen de 2 instruments au niveau du projet : les rapports de rendement annuels et les RCP. Dans ces instruments, il y a un chevauchement étroit entre l’ASC Plus et les facteurs EDI, la priorité étant accordée à ces derniers. Les RCP des programmes du premier cycle montrent que la plupart des projets (82 %) contenaient des considérations relatives à l’EDI pour leur équipe, mais que moins de la moitié (39 %) tenaient compte de l’ACS Plus dans la conception de projets.

Les directeurs de programme ont estimé qu’ils n’ont guère la capacité d’obliger les bénéficiaires à fournir des éléments de l’ACS Plus ou de l’EDI et qu’il y a des difficultés à évaluer les progrès en raison des limites imposées à la collecte de données.

Gestion des renseignements

La direction du programme dispose de renseignements suffisants pour administrer le PCSTI. Le BNP et les programmes assurent le suivi de la mise en œuvre des programmes et des activités des projets, en général, mais il y a des lacunes importantes dans le suivi de l’efficacité et des progrès vers l’atteinte des résultats. Certains indicateurs de rendement clés suivis au niveau du programme ou du projet ne sont pas intégrés, ce qui limite la surveillance globale du rendement. Les EMM fournissent les vérifications nécessaires du rendement du programme, mais les EMM du premier cycle étaient limités dans leur capacité d’éclairer des modifications et d’évaluer le succès jusqu’à ce jour. De plus, il n’y a pas de plan pour l’évaluation des résultats à long terme des programmes individuels (c.-à-d. au-delà du mi-mandat). Par conséquent, la direction des programmes et les cadres du CNRC n’ont pas de renseignements sur la mesure dans laquelle les programmes relèvent leurs défis respectifs.

Planification de la collecte des données : surveillance du rendement

Surveillance divisée entre le BNP et les programmes

Le modèle du PCSTI divise la surveillance du rendement entre le bailleur de fonds (BNP) et les intervenants (programme hôtes). Dans l’ensemble, le BNP se concentre au niveau du PCSTI (p. ex. la responsabilisation en matière de S et C, les réalisations globales), tandis que les intervenants se concentrent sur les progrès vers l’atteinte des résultats particuliers à chaque défi. Le BNP doit regrouper les indicateurs de rendement clés (IRC) au niveau du programme afin d’évaluer l’ensemble du PCSTI, une tâche qui peut être difficile. Dans la pratique, il y a des lacunes et des incohérences à la fois au niveau du PCSTI et au niveau des programmes.

Gestion des renseignements sur l’obtention de ressources

Selon le personnel du BNP et des programmes Défi, des ressources supplémentaires sont nécessaires pour la surveillance du rendement. Compte tenu des demandes de mise en œuvre de nouveaux programmes et du financement limité pour le F et E, le BNP et les responsables des programmes estiment qu’ils n’ont pas les ressources nécessaires pour surveiller pleinement le rendement comme prévu.

Systèmes non complètement mis en œuvre au BNP

Le BNP n’a pas encore pleinement mis en œuvre son système de surveillance comme initialement envisagé. Dans le but de réduire le fardeau des rapports imposés aux programmes, le BNP n’a pas demandé que tous les IRC fassent l’objet d’un suivi. Il recueille et publie des statistiques descriptives et des résultats anecdotiques. Au cours de l’exercice 2023, les données recueillies n’ont pas toutes été regroupées et communiquées.

Le BNP a révisé les outils pour collecter et regrouper systématiquement les données. Par exemple, il utilise des rapports de clôture de projet (RCP) pour obtenir des IRC directement auprès des bénéficiaires de S et C (p. ex. satisfaction, progression du NMT, participation des étudiants), mais ils n’ont commencé à regrouper les données qu’au cours de l’EF 2024. De plus, bien qu’il soit nécessaire de le faire, seulement la moitié des bénéficiaires de S et C (51 %) ont soumis des RCP dans l’année suivant la fin de leur projet.

La collecte des données varie d’un programme à l’autre

Les responsables des programmes utilisent des gabarits modifiés ou, dans certains cas uniques, pour consigner les IRC dont ils ont besoin. Toutefois, cette souplesse ne facilite pas l’agrégation des données par le BNP et les programmes. Cette situation est d’autant plus compliquée que, selon le modèle du PCSTI, les responsabilités relatives à la production de rapports sont divisées.

Un groupe de travail a été mis sur pied pour aider le BNP et les programmes à unir leurs efforts afin de s’acquitter de leurs responsabilités en matière de production de rapports. En 2023, les programmes ne communiquaient pas systématiquement les données sur les résultats au BNP, mais fournissaient des données sur demande. Le personnel du programme travaille avec les CII pour déterminer comment leurs propres examens de projet peuvent être utilisés au niveau du PCSTI afin d’éviter le chevauchement des efforts ou une surcharge de travail pour les CP internes et externes découlant des demandes de renseignements.

Alignement des outils de rendement

Nécessité des normes de service

La surveillance du rendement est insuffisante pour évaluer de façon significative les processus du PCSTI et appuyer l’amélioration continue. Au niveau du BNP, il y a un manque de normes de service ou de niveaux de référence pour comparer le rendement et une inadéquation des indicateurs pour les attributs de rendement.

Par exemple, même si le BNP a l’intention de mesurer l’efficacité avec un rapport coût-administration global, il serait plus utile d’évaluer le service du BNP par rapport à des normes de service établies — comme la rapidité avec laquelle il répond aux demandes de subvention ou règle les demandes de contribution. En mars 2023, le BNP avait commencé à schématiser et à mesurer son processus de règlement des demandes de remboursement afin d’être en mesure d’évaluer son efficacité de manière significative et constructive.

Leçons tirées de la gestion des renseignements

Les responsables des programmes de comparaison ont souligné l’importance des systèmes intégrés de données pour la collecte de données, le suivi du rendement et la communication de l’information, en mettant l’accent sur l’accessibilité de l’information aux intervenants internes et externes.

Nécessité de résultats clairs et d’une surveillance cohérente

En ce qui concerne la mesure des résultats, les indicateurs prévus sont suffisants pour répondre aux besoins organisationnels en matière de rapports (c.-à-d. les résultats ministériels du CNRC et les rapports au SCT) et liés à des objectifs précis (p. ex. l’innovation en entreprise), mais insuffisants pour évaluer les résultats. Dans certains cas, le BNP a reporté la mesure et l’évaluation des résultats aux futures évaluations du PCSTI, ce qui ne permettra probablement pas d’évaluer les résultats des divers programmes Défi. Dans d’autres cas, le BNP compte sur les programmes hôtes pour surveiller et consigner les progrès réalisés pour atteindre les résultats dans le cadre de la gestion régulière du programme.

Toutefois, même dans les cas où des données pertinentes sur les résultats sont recueillies, elles ne sont pas centralisées. Cette lacune nuit à la capacité du BNP de surveiller le rendement du programme. L’absence de regroupement et de surveillance expose le programme au risque que les régimes de surveillance diffèrent d’un programme Défi à l’autre, compromettant ainsi l’accès à l’information sur le rendement.

« Il est difficile de mesurer les retombées. Il faudra des ressources pour avoir des mesures significatives. D’autres organisations ont des bureaux entiers chargés de faire ce travail. »

Évaluation : examens de mi-mandat et évaluations finales

Les examens sont des occasions de rectifier le tir

Les EMM du rendement et des progrès réalisés pour atteindre les résultats sont essentiels pour s’assurer que les programmes relèvent leurs défis respectifs. Toutefois, leur efficacité peut être limitée par un retard dans les cycles de vie du programme, des données insuffisantes sur le rendement et des plans d’action peu clairs pour donner suite à un EMM.

• Les EMM des programmes du cycle 1 ont été facilités par le BNP et effectués par un expert-conseil externe. Des membres des comités externes d’examen par les pairs y ont participé et ils ont été effectués au cours de la quatrième année du cycle de vie de 7 ans, soit 1 an plus tard que prévu.
• Les EMM ont permis de déterminer que les programmes étaient pertinents (p. ex. les stratégies et les projets de programme cadraient avec les défis), mais n’ont pas permis de déterminer pleinement les progrès réalisés en ce qui a trait aux résultats, en raison du manque de données sur le rendement et d’information de la part de collaborateurs externes. Par exemple, un rapport d’EMM a recommandé un ensemble entièrement nouveau d’indicateurs de rendement clés pour déterminer s’il convient de poursuivre le projet, de le mettre à l’échelle ou d’y mettre fin. Selon un autre EMM, il n’a pas été possible d’évaluer les progrès accomplis en ce qui concerne les résultats, quels qu’ils soient, sur la base des données fournies.
• Les responsables de programmes élaboreront des réponses et des plans d’action de la direction (RPAD) pour donner suite aux recommandations des EMM. Toutefois, les attentes concernant le suivi de la mise en œuvre des mesures n’étaient pas claires, notamment les délais et la participation des organismes de surveillance tels que les comités directeurs de programme.

Plan imprécis pour l’évaluation des résultats du programme

À l’heure actuelle, il n’y a pas de plan clair pour déterminer si les programmes Défi ont atteint les résultats escomptés et dans quelle mesure le CNRC a répondu avec succès aux défis prioritaires du ministre. Le PCSTI doit être évalué globalement au moins 1 fois tous les 5 ans, et la prochaine évaluation du BVE du CNRC est prévue pour l’exercice 2028. Ce travail n’aurait pas pour but d’évaluer les résultats des programmes Défi. À la fin du programme, il n’y a pas de plans pour effectuer des évaluations propres aux programmes Défi.

Disponibilité des renseignements

Perceptions mitigées sur la disponibilité des renseignements

Le BNP et le personnel des programmes Défi étaient divisés quant à savoir si l’information disponible était suffisante. Presque tous les CII et les conseillers en programmes ont dit avoir l’information dont ils avaient besoin pour faire leur travail. Les directeurs de programme étaient divisés, certains s’inquiétant de la non-structuration et de l’obsolescence des données, d’autres étant généralement satisfaits. Ceux qui estimaient que les données n’étaient pas facilement disponibles ont toutefois indiqué qu’ils pouvaient les obtenir en faisant des demandes précises au BNP. La direction du BNP estime que l’information disponible est insuffisante, en raison d’une incapacité à regrouper l’information au niveau du programme du PCSTI.

À l’extérieur, les membres du CCP considèrent que leur accès à l’information n’est guère suffisant. Ils souhaitaient notamment obtenir davantage de renseignements sur l’état d’avancement des programmes et des projets, plus particulièrement des données de référence claires et des échéanciers prévus, afin d’assurer le suivi du rendement et de fournir des orientations.

Nécessité d’améliorer la disponibilité et l’intégration des renseignements

Au niveau du PCSTI et des programmes Défi, l’absence d’un système intégré de collecte de données nuit à la disponibilité de l’information. L’information étant propagée dans un ensemble de formulaires indépendants, de courriels et de bases de données autonomes, les principaux intervenants n’ont pas facilement l’information dont ils ont besoin pour prendre des décisions éclairées par des données. En ce qui concerne la gestion du programme, cette question est particulièrement pertinente pour la planification stratégique.

Bien que le BNP assurer un suivi constant de l’information sur les projets liés aux S et C, les données sont limitées, et comprennent principalement des statistiques descriptives générales et des renseignements sur les résultats immédiats (voir l’annexe B. Exemples des renseignements qui ne sont pas recueillis ou facilement accessibles :

• des renseignements sur l’efficacité du processus au niveau du PCSTI et du programme, ce qui limite l’amélioration continue et la gestion des ressources
• les progrès vers l’atteinte des objectifs de l’EDI et les considérations relatives à l’ACS Plus, ce qui limite l’évaluation des impacts sur différentes populations
• les renseignements sur les ressources humaines et le travail du CNRC, c’est-à-dire qui participe aux programmes de Défi, ce qui limite l’évaluation de la collaboration au sein du CNRC et des coûts réels pour les CR
• les renseignements sur les résultats à moyen et à long terme (p. ex. NMT), ce qui limite les décisions sur l’orientation du programme et la gestion du portefeuille de projets (p. ex., poursuite, mise à l’échelle ou arrêt du projet)

En fin de compte, la disponibilité des renseignements pourrait être renforcée par l’intégration du PCSTI et le suivi et des rapports au niveau des programmes.

Recommandations, et Réponse et plan d’action de la direction (RPAD)

Justifications et recommandations

Priorités, attentes et culture organisationnelle :

• Le modèle des programme Défi (le « modèle ») a été pensé pour appuyer la recherche transformatrice qui englobe tous les stades de NMT, de la recherche de rupture ou fondamentale à la mobilisation des connaissances et à la précommercialisation.
• Le modèle est pensé pour être flexible, mais les attentes ne sont pas claires quant au type de recherche et à la voie à suivre pour les résultats lorsqu’un programme prend fin. La recherche financée à ce jour ne peut généralement pas être qualifiée de transformatrice, à haut risque et à rendement élevé. Il n’existe pas une structure suffisante pour gérer l’avancement des portefeuilles de projets (c.-à-d. la maturation et l’élargissement ou la fin des projets), développer la technologie en collaboration avec l’industrie ou d’autres partenaires et définir ce qui constitue une adoption efficace par l’utilisateur final.
• Le modèle offre au CNRC une plateforme permettant à ses 14 CR et à ses partenaires externes de collaborer à des défis prioritaires pour les Canadiens et les Canadiennes. La plupart des fonds sont destinés aux subventions et contributions, et on a demandé aux CR de contribuer à un nombre croissant de programmes en utilisant leur budget opérationnel de base. Les V.-P. et les DG ont critiqué les ressources disponibles compte tenu des priorités conflictuelles perçues. Afin d’appuyer un changement de culture à l’échelle du CNRC en vue de la recherche axée sur la collaboration et la mission, il faudrait établir avec exactitude les priorités et les attentes organisationnelles.

Responsabilité, appropriation et surveillance :

• La structure de gouvernance des initiatives de R-D collaborative a été efficace dans l’ensemble. Les programmes Défi doivent rendre compte de leurs résultats réels en R-D. Toutefois, la responsabilité et l’appropriation concernant le modèle dans son ensemble ne sont pas clairement établies. Compte tenu de sa nature novatrice et souple, il faut préciser si le BNP, ou une autre entité, est responsable du modèle (c.-à-d. l’entité chargée d’évaluer le modèle et de l’adapter au fil du temps en fonction des leçons apprises, des examens de mi-mandat et des évaluations).
• Les programmes relèvent de divers comités internes et externes, qui ont été mis en œuvre différemment selon les programmes. Ensemble, cela a entraîné un fardeau de production de rapports et des attentes incohérentes quant à la façon dont les programmes font rapport aux organes de surveillance et réagissent à leur intervention. Il y aurait là une possibilité de mieux définir les rôles et les responsabilités du CDP par rapport à ceux d’autres comités et à la réponse de la direction au processus EMM.

Évaluation des programmes :

• Il n’est pas prévu d’effectuer des évaluations propres à un programme au-delà de leur évaluation de mi-mandat. Il reste à déterminer comment le CNRC évaluera si les programmes individuels ont atteint les résultats escomptés à la fin de leur cycle de vie.
• Il est nécessaire de préciser qui doit rendre compte de la mesure dans laquelle le CNRC a relevé avec succès les défis prioritaires établis par le ministre au bénéfice des Canadiens et des Canadiennes.

Rôles et responsabilités de la fonction d’analyse critique :

• La manière dont les avis d’experts sont utilisés pour « remettre en question » la sélection des projets en vue d’une gestion efficace du portefeuille au cours des différentes phases des programmes n’est pas définie ni comprise de manière cohérente. Dans la pratique, la fonction d’analyse critique est répartie entre les CII, les comités de surveillance (c.-à-d., le CEEP et le CCP) et les EMM.
• Pour s’assurer que la recherche financée est alignée sur les résultats souhaités du programme, il est nécessaire de définir clairement la « fonction d’analyse critique » dans le modèle de programme, particulièrement en ce qui concerne le rôle du CII.

Durabilité et évolutivité :

• Le BNP a été créé en tant que nouvelle fonction indépendante pour permettre l’octroi de financement au moyen de S et C aux collaborateurs du CNRC tout en se conformant à la PPT. Au cours des 5 années qui ont suivi sa création, le BNP a assuré la surveillance, le soutien et la gestion des S et C pour un nombre croissant de programmes et d’accords de financement. Il faut reconnaître qu’il y est parvenu avec un budget et un personnel relativement stable, et sans cadre général pour soutenir la cohérence et l’efficacité.
• Ainsi, le BNP n’a cessé de faire du rattrapage. Pendant l’EF 2023, il était encore en train de mettre en œuvre les améliorations recommandées dans un rapport d’examen des politiques et des processus de l’EF 2021. Les éléments de cet examen sont inclus dans la feuille de route de la trousse d’outils du PCSTI, que le BNP prévoit mettre en œuvre au cours de l’exercice 2024. Dans l’avenir, les ressources du BNP ne seront que davantage étirées si le nombre de programmes et de sources de financement du PCSTI continue d’augmenter.

Intégration des systèmes et gestion axée sur les résultats :

• Les outils et les processus du BNP sont répartis sur plusieurs systèmes et plateformes logicielles, ce qui donne lieu à des pratiques inefficaces. Il existe également des lacunes dans les données et une meilleure automatisation de la collecte des données est nécessaire pour améliorer l’analyse en temps opportun des processus clés. L’intégration des principaux processus du PCSTI pour l’élaboration des programmes et des projets, l’administration des S et C et la gestion des relations avec les clients favoriserait une administration plus efficace et du PCSTI, surtout si le programme continue de croître. Cela peut fournir une plateforme pour intégrer les processus et faciliter l’échange d’information entre le personnel du programme, les pairs examinateurs et les bénéficiaires de S et C.
• Les renseignements essentiels à une gestion efficace du portefeuille de projets et à l’évaluation des progrès vers les résultats escomptés sont incomplets. Les outils et les processus de mesure du rendement ne sont pas encore entièrement mis en œuvre et, surtout, les indicateurs axés sur les résultats ne sont pas recueillis ou ne sont pas suffisamment regroupés. Les rôles et les responsabilités en matière de collecte de données sont parfois peu clairs, vu que tant le BNP que les programmes hôtes ont des obligations en matière de surveillance du rendement. Le PCSTI a besoin d’un ensemble d’indicateurs clés axés sur le rendement et les résultats, y compris des normes de service appropriées, et une responsabilisation claire pour la collecte de données. L’intégration de ces indicateurs dans un système commun pourrait améliorer la gestion axée sur les résultats.
• Le BNP a apporté des améliorations aux politiques et aux processus en examinant et en rationalisant certains outils et processus. Dans le cadre de sa feuille de route pour la trousse d’outils du PCSTI, le BNP prévoit examiner ses outils et ses processus opérationnels de façon à ce qu’ils puissent être facilement adaptés et intégrés dans un seul système. L’intégration des systèmes nécessitera l’achèvement des initiatives de rationalisation en cours, y compris l’élaboration d’un cadre global qui schématisera de manière exhaustive les processus du PCSTI.

Réponse et plan d’action de la direction

Recommandation 1 : priorités, attentes et culture organisationnelle

Le V.-P.-SPA devrait préciser davantage les attentes concernant le modèle des programmes Défi en ce qui concerne les activités suivantes :

1. faire progresser la recherche transformatrice, à haut risque et à haut rendement
2. structurer le développement de solutions technologiques et politiques pour adoption par l’utilisateur final
3. prioriser la participation des centres de recherche et la collaboration au sein du CNRC

Niveau de risque : modéré

Recommandation 2 : responsabilité, appropriation et surveillance

Le V.-P.-SPA devrait préciser la responsabilité et l’appropriation du PCSTI dans son ensemble afin de s’assurer que le modèle de programme Défi atteint ses objectifs, y compris préciser si les comités de surveillance peuvent être consolidés.

Niveau de risque : modéré

Recommandation 3 : évaluation des programmes

Le V.-P.-SPA devrait préciser, de concert avec la haute direction, la nécessité de déterminer si les programmes Défi individuels ont atteint les résultats escomptés et, dans l’affirmative, le processus à suivre.

Niveau de risque : modéré

Recommandation 4 : rôles et responsabilités de la fonction d’analyse critique

Le V.-P.-SPA devrait définir clairement :

1. la « fonction d’analyse critique » dans le modèle des programmes Défi, particulièrement en ce qui concerne l’élaboration et l’orientation des programmes, la sélection des projets et la gestion du portefeuille;
2. les rôles et responsabilités des CII en dehors de leur fonction de diligence raisonnable pour les S et C.

Niveau de risque : modéré

Recommandation 5 : durabilité et évolutivité

Le V.-P.-SPA devrait examiner si les ressources sont suffisantes (ressources humaines, financières ou de TI) pour mener à bien les initiatives d’amélioration continue, afin d’assurer le succès du modèle des programmes Défi et du PCSTI dans son ensemble, et élaborer un plan d’action pour l’avenir.

Recommandation 6 : intégration des systèmes et gestion axée sur les résultats

Le V.-P.-SPA devrait élaborer et mettre en œuvre un système intégré pour les principaux processus du PCSTI, y compris une plateforme pour faciliter l’interaction et l’échange des renseignements entre les principaux intervenants. Ce système devrait également intégrer des renseignements solides sur le rendement afin de promouvoir l’efficacité du processus, l’efficience et une gestion axée sur les résultats.

Niveau de risque : élevé

Annexes

Annexe A : méthodes détaillées

Examen des documents

Des documents internes ont été examinés afin de fournir un contexte, d’évaluer les pratiques de gestion des programmes par rapport aux politiques du CNRC et du CT et de compléter d’autres sources de données pour évaluer l’efficacité du modèle de programme et de la gouvernance, des processus et des contrôles, y compris les systèmes de surveillance du rendement et les examens. Des procédures ont été utilisées pour déterminer et examiner les principaux processus et procédures opérationnels, les outils et les modèles, les lignes directrices et les approches et méthodes en matière d’assurance de la qualité.

Les documents internes comprenaient les modalités du PCSTI, les plans stratégiques, opérationnels et des RH, la gouvernance du programme, les modèles et les profils, les schémas de processus, les formulaires de conflits d’intérêts, les guides pratiques, le mandat et d’autres documents clés de divers comités et groupes d’experts, les descriptions de travail, les rapports sur le rendement et la surveillance, les outils de gestion et les examens de mi-mandat.

Les documents externes ont été principalement examinés dans le cadre de l’étude d’analyse comparative afin de connaître le contexte pour les politiques et les initiatives canadiennes et internationales en matière d’innovation axées sur la mission.

Examen des données

Les données organisationnelles provenaient des systèmes nBoss et SAP, des S et C et des outils de suivi du financement des frais de F et E. Les données comprenaient également des données administratives du PCSTI, des renseignements sur les projets et les bénéficiaires du financement, des outils de suivi des projets de programme et des cahiers des travaux de la gestion des programmes et projets, ainsi que des données sur les ressources financières et humaines.

On a effectué des analyses de données ciblées pour évaluer et valider les affirmations de la direction du programme. Les données sur la surveillance du rendement ont également été examinées, y compris les indicateurs de rendement clés au niveau du PCSTI et des programmes Défi.

Les rapports de clôture des projets des programmes Défi disponibles ont également été examinés (n=44) afin d’obtenir la rétroaction de collaborateurs externes financés.

Entrevues externes et internes

Des entrevues individuelles et collectives ont été menées afin de recueillir des expériences personnelles, des opinions et des connaissances d’experts en ce qui a trait à l’efficacité du modèle et de la gouvernance des programmes Défi, des processus et des contrôles, et à l’utilisation des renseignements pour éclairer les décisions.

Au total, 73 intervenants ont été interviewés entre novembre 2023 et mars 2024. 76 % étaient des membres du personnel interne et 24 % étaient de l’extérieur du CNRC :

• 56 employés internes : cadres supérieurs, vice-présidents et DG, gestionnaires et employés du BNP et du PNSA, directeurs de développement des marchés, directeurs et gestionnaires de programmes Défi, directeurs de programmes de soutien aux grappes, chefs et co-chefs d’équipe, CTI du PARI CNRC
• 17 intervenants externes : collaborateurs externes de R -D financés ou non financés et membres de comités consultatifs de programmes et d’autres comités

Les entrevues d’études de cas sont incluses dans ce total (29 personnes). Les entrevues et les consultations menées dans le cadre de l’analyse comparative ne sont pas incluses.

Études de cas

Les études de cas visaient à documenter et comprendre l’expérience de 3 programmes Défi à mesure qu’ils évoluaient dans le cadre de la gouvernance et des processus du PCSTI :

1. RSHD : hébergé par un CR; programme du cycle 1
2. PDRP : hébergé par une division; programme de réponse rapide
3. VCS : hébergé par une division; programme du cycle 2

Ces programmes ont été choisis pour inclure un programme du cycle 1, un programme du cycle 2 et un mélange de types de parrainage (programmes hébergés par une division ou un CR). Les consultations de planification ont recommandé l’inclusion du PDRP en raison de sa nature unique.

Les études de cas ont permis un examen approfondi et la collecte de données contextuelles à l’appui des constatations générales de l’évaluation. L’approche comprenait l’examen des documents du programme, des données et des entrevues.

• En plus des sources d’information au niveau du programme, un examen d’un échantillon non aléatoire de projets (n=11) a été effectué pour examiner les documents et les données au niveau du projet.
• Des entrevues ont été menées auprès du personnel de gestion de programme (n=4), des chefs et co-chefs d’équipe de recherche (n=6), des directeurs du développement des affaires (n=3), des présidents de CCP et d’autres comités (n=4), des CTI du PARI CNRC (n=4) et de collaborateurs externes (et non financés) (n=12).

Les collaborateurs et l’échantillon des projets ont été choisis de façon à inclure une gamme de valeurs de projet (élevé, moyen et faible), de types de financement et de types de projets.

Analyse comparative

Processus de sélection

La détermination des programmes de comparaison a été difficile en raison du modèle unique de collaboration et de financement des programmes Défi du CNRC. Il n’a pas été possible de trouver des programmes de comparaison qui comprenaient à la fois des chercheurs gouvernementaux et des organismes externes financés pour travailler en collaboration à des projets de R-D.

À partir de recherches en ligne approfondies et de plusieurs consultations multiples auprès du BNP et du PNSA, 2 initiatives nationales et 2 initiatives internationales appuyant la recherche axée sur la mission ont été choisies en raison de leurs objectifs, leur modèle de financement, leur structure de programme et d’autres caractéristiques. Voir les détails sur les programmes de référence et la justification de la sélection dans la section Profil.

Justification du choix des programmes de comparaison

• Défis Tech Propre d’Impact Canada : explorer les fortes similitudes entre les facteurs stratégiques et les exigences fédérales, les objectifs du programme, ainsi que les structures de surveillance et d’exécution.
• PIE : pour tirer parti des expériences et des pratiques exemplaires de RNCan dans la gestion des paiements de transfert pour les projets de R-D, ainsi que pour examiner les similitudes ou les différences dans les processus et les structures de gouvernance.
• ARPA-E : étudier plus en détail les forces et les faiblesses du modèle de programme Defense Advanced Research Projects Agency (AARPA) (ayant inspiré la conception d’ARPA-E), y compris les leçons tirées de l’atteinte d’objectifs de recherche à haut risque et à haut rendement.
• EIC Pathfinder : explorer les similitudes ou les différences dans les structures de surveillance et d’exécution dans le cadre du modèle de programme EIC (inspiré par les caractéristiques d’ARPA-E) et d’autres.

Méthodes de collecte de données

La collecte et l’analyse des données ont consisté en un examen des documents et des données. Certains renseignements sur les programmes de référence étaient fondés sur des documents accessibles au public (sites Web du programme, rapports de vérification et d’évaluation antérieurs). Un guide d’entrevue et une liste de vérification des demandes d’information ont été élaborés à partir d’indicateurs clés pour la comparaison et d’autres éléments qui n’ont pas pu être trouvés dans le domaine public.

Des représentants des 4 programmes de comparaison ont été interviewés : 2 entrevues individuelles ou collectives (groupes de 2 à 3 personnes) par rapport à chacun des 4 programmes de référence. D’autres documents ont été communiqués par les personnes interrogées et des suivis ont été effectués pour combler les lacunes en matière d’information et valider l’information.

Annexe B – limitations et stratégies d’atténuation

Même si nous avons éprouvé des difficultés pendant l’évaluation, les limites méthodologiques ont été atténuées, dans la mesure du possible, par l’utilisation de multiples sources de données et la triangulation des données. Cette approche a été adoptée afin d’établir la fiabilité et la validité des constatations et de s’assurer que les conclusions et les recommandations étaient fondées sur des preuves objectives et documentées. Des détails sur les limitations et les stratégies d’atténuation connexes sont présentés ci-dessous.

Manque de données sur les contributions du CNRC

Il n’a pas été possible de quantifier les contributions des CR individuels et l’importance des programmes Défi (c.-à-d. la valeur totale des projets et programmes), étant donné que les contributions prévues dans les propositions de projets ne font pas l’objet d’un suivi systématique ou uniforme dans l’ensemble de l’organisation. En raison de cette lacune, il n’a pas été possible d’évaluer efficacement éléments suivants :

• le niveau d’effort réel des CR pour les programmes Défi
• les effets du modèle de collaboration en R-D sur le changement des comportements de collaboration entre les CR au fil du temps
• l’évolutivité (et en fin de compte la viabilité) du modèle de collaboration en R-D étant donné que les CR ont été invités à contribuer à un nombre croissant de programmes Défi au cours de la même période, tout en restant à un niveau similaire de fonds de fonctionnement et de priorités pour les activités mandatées et génératrices de recettes

Mesures d’atténuation :

Pour examiner les contributions d’un CR aux programmes Défi, le BVE a :

• interviewé des intervenants internes, y compris des personnes interviewées dans le cadre d’une étude cas qui pouvaient fournir des commentaires sur ce type de contributions
• examiné les données et la documentation du programme faisant référence à la participation du CR
• utilisé les contributions prévues du CNRC utilisées pour la section Profil

Points de vue limités des intervenants externes

Compte tenu de la portée de cette première évaluation du cadre et des processus du PCSTI, l’équipe d’évaluation s’est appuyée autant que possible sur les données disponibles pour éviter d’alourdir le fardeau des bénéficiaires de financement externe. Parallèlement à l’évaluation, 4 examens de mi-mandat ont été effectués, comportant des entrevues avec des bénéficiaires externes et des membres des comités. L’équipe d’évaluation a également demandé aux collaborateurs financés de fournir des commentaires au sujet de leur expérience de travail avec le CNRC sur les processus et les exigences en matière de rapports pour les projets récemment achevés.

Les prochaines évaluations du PCSTI devraient comporter des consultations plus larges avec les intervenants externes et tirer parti d’une rétroaction plus approfondie et des renseignements connexes sur le rendement recueillis, déclarés et analysés par le BNP.

Mesures d’atténuation : Le BVE et le BNP ont travaillé en étroite collaboration pour :

1. éviter le chevauchement entre les entrevues des études de cas et les entrevues pour l’EMM en échangeant les listes de personnes-ressources et les questionnaires;
2. intégrer les constatations des rapports des EMM lorsqu’elles étaient disponibles (n=4 rapports);
3. inclure les commentaires externes tirés des rapports de clôture compilés par le BNP (n=44 rapports).

Variabilité et renseignements non cohérents de l’analyse comparative

Il faut s’attendre à ce qu’il y ait des lacunes dans les renseignements dans une analyse comparative. Les renseignements et la disponibilité des personnes interrogées variaient selon les programmes de comparaison. En fin de compte, pour un programme de comparaison, l’expert-conseil a été en mesure de déterminer les catégories d’informateurs clés (c.-à-d. la fonction d’appui et de surveillance du programme et l’orientation du programme) et le nombre ciblé.

Compte tenu de la portée de la présente évaluation, qui a examiné en détail les processus et les contrôles, il y avait un déséquilibre entre les renseignements sur le PCSTI et ceux sur les programmes de comparaison. Par conséquent, la présente analyse visait principalement à comparer les cadres et les modèles de financement de la recherche axée sur la mission plutôt que des processus et des contrôles particuliers. Enfin, la nature unique du PCSTI (le CNRC étant à la fois le bailleur de fonds et l’exécutant) a limité la détermination des pratiques exemplaires et des leçons apprises, puisque les programmes de comparaison ne font que financer de la recherche.

Mesures d’atténuation : L’équipe d’évaluation a examiné les documents et les données accessibles au public, puis a fait un suivi par courriel auprès des représentants des programmes de comparaison afin de combler les lacunes en matière d’information. Lorsque certaines catégories d’informateurs clés n’étaient pas disponibles, les personnes interrogées disponibles ont fourni des renseignements précieux sur d’autres fonctions et ont identifié des documents supplémentaires. Enfin, pour certaines analyses, un mélange de sources d’information quantitatives et qualitatives a été utilisé pour fournir des indicateurs de substitution qui peuvent être mis en perspective avec ceux du PCSTI, et pour établir des comparaisons significatives.

Annexe C – renseignements supplémentaires

Tableau récapitulatif des IRC recueillis et déclarés par le BNP