Évaluation du Centre de recherche sur les technologies de sécurité et de rupture du CNRC - Rapport final, le 8 janvier 2018

Constatations clés : Besoin d'activités de recherche-développement

• Le programme PQADS répond à un besoin dans le domaine de la recherche et du développement photonique quantique, étant donné que les technologies quantiques devraient avoir un impact important sur les industries à l'avenir.
• Le programme TMS répond aux besoins des parties intéressées dans le domaine de la recherche-développement sur les matériaux avancés, mais pas à son plein potentiel.

Constatations clés : excellence des recherches scientifiques

• Le travail des chercheurs du Centre de recherche est supérieur à la moyenne mondiale sur le plan de l'incidence relative de leurs publications; ces derniers sont reconnus à l'échelle nationale et internationale pour leur excellence en recherche.
• Le Centre de recherche a réussi à transformer des résultats de recherche en technologies prometteuses.
• Le programme PQADS dirige des recherches de calibre mondial dans le domaine de la science de l'attoseconde. De plus, les recherches menées dans les domaines de la photonique moléculaire, du point quantique et de la microscopie sont jugées impressionnantes.
• Le programme TMS dirige des recherches de calibre mondial dans le domaine du développement et de l'application des nanotubes de nitrure de bore (NTNB). Toutefois, ces efforts n'ont pas été visibles au sein de la communauté scientifique ces dernières années.

Constatations clés : excellence des installations

• La plupart des installations de recherche en photonique quantique du programme Photonique quantique appliquée à la détection et à la sécurité (PQADS) sont de calibre mondial. Le manque d'accès à un calcul de haute performance constitue une faiblesse.
• Les installations de nanotechnologie utilisées par le programme TMS ont été jugées comparables à celles d'autres institutions nationales travaillant dans ce domaine de la recherche, sauf en ce qui a trait à la production de nanotubes de nitrure de bore, un élément jugé unique.
• L'absence d'une installation de mise à l'échelle restreint la capacité du programme TMS de saisir des occasions de transfert de technologie.

Constatations clés : mobilisation des clients et des parties intéressées et élaboration d'un écosystème

• Si, dans l'ensemble, les clients et les parties intéressées se disent très satisfaits de leurs relations avec le Centre de recherche sur les technologies de sécurité et de rupture et ils ont indiqué une bonne harmonisation avec leurs objectifs à long terme, il reste que leurs besoins immédiats et les attentes en matière de commercialisation n'ont pas toujours été satisfaits.
• Le niveau de mobilisation des parties intéressées, mesuré par l'ampleur des intervenants mobilisés, dans le domaine quantique au Canada a été jugé supérieur à la moyenne.
• Des préoccupations ont été soulevées concernant le niveau de mobilisation du programme PQADS auprès des entités pouvant aider à combler l'écart entre les découvertes scientifiques et la commercialisation.
• Même si, au fil du temps, on s'attendait à ce que le programme TMS mobilise davantage l'industrie, on ne peut que constater que le programme n'a pas encore atteint ce résultat et qu'il continue de compter sur RDDC à titre de principal client.
• Le programme TMS a élaboré avec succès de la Carte technologique du Canada sur les matériaux de sécurité (CTCMS); cependant, les données de mise en œuvre sont limitées au-delà du partage d'information.

Conclusions et recommandations

L'évaluation des TSR a montré que, dans l'ensemble, le centre de recherche, par l'entremise de ses deux programmes, répond aux besoins des clients et entraîne des répercussions scientifiques. Des efforts ont été entrepris en vue de mobiliser les principales parties intéressées au moyen des initiatives Quantique Canada et CTCMS. La mise au point de technologies se situe aux premières étapes et présente certaines difficultés pour l'avenir, ce qui n'a rien de surprenant, étant donné que le centre de recherche mène des activités se situant à des niveaux de maturité technologique (NMT) bas.

En ce qui a trait à chacun des programmes, le comité d'examen par les pairs a formulé les recommandations suivantes qui ont été abrégées pour les fins du présent résumé (on trouvera la formulation complète des recommandations à la Section 4 du rapport). Dans chaque cas, la recommandation est suivie de la réponse de la direction.

2.2 Ressources des centres de recherche

2.2.1 Ressources humaines

Entre 2013 et 2017, le nombre d'employés de la R-D^{Note de bas de page 11} au Centre de recherche sur les TSR est demeuré stable et se situait autour de 65; près des deux tiers de ces employés sont titulaires d'un doctorat. Dans l'ensemble, le centre de recherche emploie environ 83^{Note de bas de page 12} employés.

Le personnel du Centre de recherche sur les TSR est réparti entre sept équipes qui relèvent chacune d'un chef d'équipe. Les équipes sont déployées de manière à soutenir les programmes du centre de recherche de même que les projets à l'intérieur de ces programmes. Voici les domaines de spécialisation :

• Science de l'attoseconde
• Photonique à fibres
• Nanomatériaux optiques et électroniques
• Nanocomposites
• Théorie quantique
• Photonique moléculaire
• Information quantique

En plus de ses propres ressources, le Centre de recherche sur les TSR a reçu des effectifs en provenance d'autres centres de recherche à l'appui de ses activités.

Entre les années financières 2013-2014 et 2016-2017, plus des trois quarts de l'effectif qui travaillait au Centre de recherche sur les TSR (78  %) étaient du personnel interne (autrement dit, qui appartenait au TSR) et 22  % étaient du personnel externe au centre de recherche.

Source : Système de données financières du CNRC

Pendant la période des exercices de 2013-2014 à 2016-2017, le Centre de recherche sur les TSR s'est classé en tête des centres de recherche pour le pourcentage de chercheurs qu'il recevait d'autres centres de recherche et en deuxième place (après le centre de recherche sur l'énergie, les mines et l'environnement) pour le pourcentage de chercheurs qu'il fournissait à d'autres centres de recherche.

2.2.2 Installations

Les installations du centre de recherche, situées à Ottawa, ont été conçues en vue d'améliorer la compréhension des interactions entre la lumière et la matière (utilisées par le programme PQADS) ainsi que pour permettre la fabrication et le prototypage pour des applications liées aux matériaux de pointe, notamment la nanotechnologie (utilisées par le programme TMS). On trouvera à la section 3.3 plus de renseignements sur les installations utilisées par les programmes PQADS et TMS.

2.2.3 Ressources financières

Entre les exercices de 2012-2013 et de 2016-2017, le Centre de recherche sur les TSR a généré environ 11,37 millions de dollars en recettes, et 70  % de ce montant provenait de la prestation de services de recherche stratégique^{Note de bas de page 13}.

Source : Système de données financières du CNRC

Les dépenses associées aux projets du Centre de recherche sur les TSR se sont chiffrées au total à environ 50,6 millions de dollars entre les exercices de 2012-2013 et de 2016-2017. La presque totalité de ces investissements (88  %) a été affectée à des projets de recherche stratégique.

3.1 Besoin d'activités de recherche-développement

Étant donné que les centres de recherche sont harmonisés avec les objectifs opérationnels stratégiques du CNRC, tandis que les programmes sont d'une nature plus transitoire et, de ce fait, sont plus susceptibles de subir des changements, l'évaluation a porté sur le besoin continu de capacités en R-D que connaît le Centre de recherche sur les TSR au niveau des programmes. L'évaluation s'est fondée sur les résultats de l'examen des documents, des entrevues, sur une évaluation du marché ainsi que sur les opinions des experts du comité d'examen par les pairs.

3.1.1 Programme PQADS

Le comité d'examen par les pairs (CEP) a confirmé que, dans le domaine de la photonique quantique, les besoins les plus importants en matière de développement de technologie se situent dans les sources et les détecteurs quantiques, les interfaces entre la lumière et la matière et les mémoires quantiques, des aspects qui sont tous couverts par le programme PQADS. De plus, d'importantes applications en optique non linéaire sont incluses dans la portée du programme.

Le comité d'examen par les pairs a également indiqué que dans le futur divers secteurs de l'économie canadienne auront besoin de technologies quantiques pour répondre à leurs besoins. Parmi les différentes technologies, la photonique quantique offre des approches prometteuses pour répondre aux besoins de trois secteurs importants : les technologies de l'information et des communications, la défense et la sécurité ainsi que l'énergie et l'environnement. On considère que le programme PQADS est en bonne position pour avoir des répercussions importantes dans ces secteurs étant donné qu'il existe au CNRC une masse critique de chercheurs et d'infrastructures pour se pencher sur les défis scientifiques et pour créer une collaboration unique entre les entreprises et les organisations canadiennes.

Même si les avantages pour la société qui sont associés aux applications commerciales potentielles sont nombreux pour les technologies quantiques, il reste qu'elles sont des technologies nouvelles, de rupture et dont le niveau de maturité technologique est bas. En conséquence, la R-D dans le domaine comporte un certain niveau d'incertitude et de risque, ce qui rend l'industrie prudente dans ses investissements^{Note de bas de page 14}. Dans ces situations, le rôle du gouvernement devient important pour ce qui est de combler l'écart créé par les investissements du secteur privé en soutenant la recherche fondamentale et en menant des activités de R-D à haut risque et à faible niveau de maturité technologique^{Note de bas de page 15}.

Nous avons eu des entretiens avec quelques personnes à l'interne et à l'externe, et ces dernières étaient d'avis que, même si la recherche est prometteuse, il ne faut pas s'attendre à des percées avant plusieurs années encore, et peut-être pas dans les limites de l'échéancier du programme. Ces réflexions ont été reprises par les membres du CEP qui ont indiqué que les analyses de rentabilisation et scientifiques sont claires, mais aussi qu'elles sont définitivement à long terme. En conséquence, ils estimaient qu'il est peut-être trop tôt pour accroître les activités liées au niveau de maturité technologique pour que cela entraîne des répercussions sur l'économie canadienne. L'exception se situe dans le domaine des ressources et de la détection environnementale et de sécurité, où le programme a développé des technologies qui ont atteint un niveau de maturité technologique supérieur, et qui sont susceptibles d'entraîner des répercussions dans les limites de l'échéancier du programme.

3.1.2 Programme Technologies des matériaux de sécurité (TMS)

Des documents du gouvernement indiquent que les militaires canadiens ont besoin que l'on corrige des lacunes et que l'on relève des défis techniques associés aux systèmes de blindage existants pour le personnel et les véhicules.^{Note de bas de page 16} Même si la documentation admet que les systèmes de blindage existants sont efficaces (pour stopper effectivement les projectiles conformément aux spécifications), des études^{Note de bas de page 17} ont montré divers problèmes associés aux conceptions des systèmes de blindage pour le personnel et les véhicules, plus particulièrement dans le contexte des applications militaires. À titre d'exemple :

• L'équipement de protection individuelle (EPI) (ou gilet de protection balistique) d'un soldat, qui comprend habituellement des plaques de céramique, est lourd. Il ajoute un poids significatif à la charge totale transportée et peut restreindre la mobilité. Des études ont aussi montré que les lourdes charges transportées ou portées à même le corps peuvent entraîner plus rapidement la fatigue et un stress accru sur le système musculosquelettique, ce qui peut produire un risque plus élevé de blessure.
• En ce qui concerne les véhicules, le poids additionnel du blindage peut compromettre les capacités du véhicule, notamment sa manœuvrabilité, la consommation de carburant, la transportabilité ou la capacité d'intervention.

Le programme TMS a mis l'accent sur un besoin technologique précis dans le secteur de la défense. Ainsi, le programme a été créé pour soutenir le développement de systèmes de protection contre le souffle et les éclats à rendement élevé, rentables et légers, et en insistant tout particulièrement sur l'équipement de protection individuelle (EPI) et les produits pour véhicules blindés (VB)^{Note de bas de page 18} .

Le comité d'examen par les pairs a constaté que les activités réalisées par le programme TMS sont entièrement complémentaires à celles qui sont effectuées à RDDC (le principal client du programme) et il existe une synergie évidente entre leurs activités de R-D. Le comité d'examen par les pairs a fait remarquer que le programme a choisi certains matériaux et applications spécifiques dans son analyse de rentabilisation et qu'il s'est concentré sur le développement dans ces secteurs. Les arguments présentés dans la documentation de fondation du programme demeurent valables.

Pour ce qui est de la mise en œuvre, toutefois, le comité d'examen par les pairs estimait que le programme ne s'était pas focalisé suffisamment sur le besoin de mener de la recherche fondamentale pour élargir les applications à d'autres secteurs que celui de la défense. Le volume actuel d'activités au niveau système exercées avec RDDC est peu élevé, et il existe un faible lien entre la recherche dont le niveau de maturité technologique est bas, et les démonstrations de haut niveau en raison de l'absence d'installation de mise à l'échelle (situation décrite de façon plus détaillée à la section 3.3.2).

3.2 Excellence scientifique

On a mesuré l'excellence scientifique globale du Centre de recherche sur les TSR au moyen d'une analyse bibliométrique de publications, de récompenses et de prix, de brevets et de licences. Au niveau des programmes, le comité d'examen par les pairs a évalué l'excellence scientifique en procédant à une revue de la documentation de base et en effectuant une visite des lieux.

3.2.1 Excellence scientifique — TSR

Publications

Globalement, le Centre de recherche sur les TSR a obtenu des résultats supérieurs à la moyenne mondiale sur le plan de la qualité, de l'incidence scientifique et de l'excellence de ses publications durant la période de 2009 à 2014.

Au niveau du sous-champ de recherche, les travaux de recherche de TSR exerçaient généralement un impact élevé, comparativement au niveau mondial pendant la période de 2003 à 2014^{Note de bas de page 19} .

Source : Science-Metrix. (2016). Analyse bibliométrique du rendement du CNRC dans les nouvelles technologies, 2003-2014.

Prix et récompenses

Les chercheurs principaux en TSR ont remporté de prestigieux prix et récompenses qui leur ont été attribués par des organisations comme Optical Society of America, la Russian Academy of Sciences, la Royal Society of London et la Royal Society of Chemistry. Étant donné que les renseignements concernant les prix et les récompenses ne sont pas recueillis systématiquement par le CNRC, il n'a pas été possible de fournir une évaluation quantitative des réalisations dans le cadre de l'évaluation.

La majorité des répondants à l'interne et à l'externe ont déclaré que la qualité de la recherche produite par le personnel du Centre de recherche sur les TSR est excellente. Ils ont en outre signalé que le Centre de recherche sur les TSR accueille des chercheurs de premier plan sur la scène internationale dans le domaine, qui dirigent des travaux de recherche avancés et innovateurs avec l'appui de techniciens supérieurs du CNRC pour gérer et entretenir leurs installations et leur matériel.

Si la situation du centre de recherche sur le plan de l'excellence académique est actuellement enviable, il reste que le profil du personnel de recherche du point de vue de l'âge et des années de service présente un risque potentiel à moyen terme et à long terme en raison du nombre important de départs à la retraite à venir. À compter de mai 2017, près du tiers des employés en R-D du Centre de recherche sur les TSR (31  %) seraient admissibles à la retraite en mars 2022, et près de la moitié (47  %) seront admissibles à la retraite d'ici mars 2027.

Brevets et licences

Entre les exercices de 2012-2013 et de 2016-2017, le Centre de recherche sur les TSR a obtenu au total 38 brevets pour 18 technologies différentes.

Au total, 5 accords de licence pour des technologies mises au point par des chercheurs des TSR ont été conclus entre les exercices de 2012-2013 et de 2017-2018, dont deux sont associés à l'axe des matériaux du programme Électronique imprimable.

Source : Données sur la propriété intellectuelle du Soutien à la gestion des affaires du CNRC.

3.2.2 Excellence scientifique — programme PQADS

Le CEP a indiqué que des chercheurs du programme PQADS sont reconnus à l'échelle nationale et internationale pour leur excellence. De façon plus précise, tant le comité d'examen par les pairs que quelques répondants à l'interne et à l'externe ont mentionné Paul Corkum, Ph. D., qui est considéré comme le pionnier de la science de l'attoseconde. Des membres du CEP ont indiqué que depuis qu'il a introduit le modèle en 3 étapes en 1993, M. Corkum a apporté plusieurs contributions inédites à l'imagerie moléculaire ultrarapide et à la science des lasers. Récemment, il a étendu les concepts de la science de l'attoseconde de la phase gazeuse à l'état solide. Le comité d'examen par les pairs est d'avis que cette étape fournira de nouvelles métrologies pour l'imagerie et le contrôle des matériaux pertinents pour les technologies TCI.

L'étude bibliométrique menée en 2016 a montré que les chercheurs dans les domaines de la physique générale, et de la physique des fluides et des plasmas (les plus susceptibles de travailler pour le programme PQADS) affichent certaines des notes les plus élevées pour l'impact dans tous les domaines de publication du centre de recherche des TSR, ce qui contribue à renforcer encore davantage le point de vue du CEP.

Sur le plan du recrutement et du maintien à l'emploi, le CEP a constaté que le programme PQADS avait réussi à attirer de jeunes chercheurs prometteurs qui ont déjà contribué à la mise au point de technologies quantiques nouvelles, notamment d'un générateur de nombres aléatoires. Le comité estimait que le recours aux chercheurs invités bénévoles^{Note de bas de page 20} avait aussi permis au programme de continuer à tirer profit de l'expertise de chercheurs principaux. Cela dit, un interviewé externe a indiqué que, même si le CNRC est actuellement capable d'attirer des chercheurs pour le programme PQADS en raison de la réputation de ses principaux chercheurs, la situation pourrait changer lorsque ces derniers prendront leur retraite.

3.2.3 Excellence scientifique — programme TMS

3.3 Excellence des installations

L'évaluation consistait notamment à évaluer les installations utilisées par les programmes PQADS et TMS en s'appuyant sur les entrevues menées auprès d'intervenants internes et externes, sur une revue de la documentation de programme et sur les opinions des membres du comité d'évaluation par les pairs, elles-mêmes fondées sur la tournée des principales installations effectuées lors de la visite des lieux.

3.3.1 Installations du programme PQADS

Le programme PQADS utilise les installations de R-D du CNRC à Ottawa. Les installations sont conçues pour améliorer l'acquisition de connaissances sur les interactions entre la lumière et la matière.

Le CEP a relevé un éventail d'approches innovatrices qui ont été utilisées pour créer et maintenir les installations. Le Comité a cité, plus particulièrement, le Laboratoire mixte pour la science de l'attoseconde (JASLab), le Laboratoire de science moléculaire et le Centre d'accès à la technologie de sécurité quantique à titre d'exemples d'approches novatrices. Chacun de ces laboratoires est décrit brièvement ci-après.

Le Laboratoire mixte pour la science de l'attoseconde (JASLab) a été créé en 2008 dans le cadre d'un partenariat entre l'Université d'Ottawa et le Conseil national de recherches. Situé dans les locaux du CNRC sur la promenade Sussex, à Ottawa, il s'agit du seul laboratoire au Canada capable d'effectuer des mesures de l'attoseconde, et doté d'un large éventail de points de destination permettant de mettre à l'essai diverses applications de détection quantique. Le partenariat entre les deux organisations a été cité par le CEP comme une approche nouvelle pour tirer profit de possibilités de financement qui, autrement, n'auraient pas été possibles pour le CNRC.

Le Laboratoire de photonique moléculaire, qui loge lui aussi dans un établissement du CNRC, sur la promenade Sussex à Ottawa, a été construit au fil de dépenses mineures en immobilisations qui se sont étalées dans le temps. Le CEP a souligné que cette stratégie s'était révélée efficace pour porter le laboratoire aux normes les plus élevées.

Le Centre d'accès à la technologie de sécurité quantique (Q-STAC), créé en septembre 2016 sur le campus du CNRC situé sur le chemin Montréal, à Ottawa, est le résultat d'un effort conjoint du CNRC, du Centre de la sécurité des télécommunications (CST) et de RDDC. Le CEP a souligné le fait que le Q-STAC fournit un laboratoire expérimental pour réaliser des essais et des démonstrations de technologie que les partenaires du CNRC n'étaient pas en mesure de mettre sur pied eux-mêmes.

En plus des exemples qui précèdent, le CEP a aussi mentionné la collaboration de tout le CNRC entre le Centre de recherche sur les TSR et le centre de recherche sur les TCI^{Note de bas de page 21} comme un moyen efficace d'assurer l'accès à des installations d'épitaxie et de nanofabrication ainsi que de maximiser l'utilisation de l'installation.

Dans l'ensemble, le CEP a trouvé que le JASLab et le Laboratoire de photonique moléculaire étaient tous deux des installations de calibre mondial possédant un matériel unique pour permettre d'effectuer de la recherche d'avant-garde en photonique quantique. Ils ont aussi désigné l'installation du QSTAC comme un effort de collaboration prometteur.

Si le CEP s'est montré positif dans son évaluation de la majorité des installations, il a néanmoins déploré le fait que le manque d'accès au calcul de haute performance limite la capacité du programme d'effectuer des activités de modélisation, et ce, plus particulièrement au sein du groupe de chercheurs qui travaillent sur la théorie quantique. Cette situation pourrait influer négativement sur la réalisation des résultats. Cette mise en garde a trouvé un écho chez les répondants à l'interne, lesquels ont mentionné spécifiquement une grande dépendance à l'égard de l'équipement servant au calcul de haute performance désuet, d'une bande passante étroite et d'une connectivité réseau instable. Aussi, les plans opérationnels du Centre de recherche sur les TSR décrivent des problèmes liés à l'approvisionnement de nouvel équipement pour les capacités de calcul de haute performance. De façon plus précise, les documents indiquent que le groupe de chercheurs en théorie quantique des TSR dépend dans une large mesure d'un équipement servant au calcul de haute performance désuet situé dans les laboratoires du CNRC, sur la promenade Sussex.

3.3.2 Installations du programme Technologies des matériaux de sécurité (TMS)

Le programme TMS utilise les installations de R-D du CNRC situées à Ottawa. Ces installations sont conçues pour permettre la fabrication et le prototypage pour des applications de matériaux avancés, incluant la nanotechnologie (revêtements de protection et matériaux balistiques, etc.).

Les répondants à l'interne s'accordaient pour dire que même si les laboratoires et les installations proprement dites ne sont pas nécessairement uniques comparativement à ceux d'autres organisations (à quelques exceptions près), la manière dont les laboratoires ont été personnalisés et sont utilisés est unique en son genre (par exemple, le laboratoire utilisé pour produire des nanotubes de nitrure de bore).

Le CEP a admis que les installations de nanomatériaux du CNRC sont excellentes, mais qu'elles sont équivalentes à ce qui existe dans quelques autres universités canadiennes. Cela dit, le CEP a confirmé que les activités de développement de matériaux du programme sont à la fine pointe de la technologie, étant donné que le programme est le seul à produire des matériaux pour les NTNB en quantité suffisante pour les fins de la recherche.

Les documents du programme TMS indiquent qu'une installation de mise à l'échelle pour le traitement de produits chimiques est essentielle à l'atteinte des objectifs du programme, et plus précisément pour l'Axe 1 (élaboration d'une plateforme pour la technologie). D'après le plan d'activités du programme TMS, l'installation de mise à l'échelle sera utilisée pour produire les quantités requises de matériaux nécessaires aux activités entreprises dans les Axes 2 à 4 du programme, ainsi que pour répondre aux besoins de l'industrie dans le cadre d'activités de transfert de technologie.

En 2015, le Centre de recherche sur les TSR a soumis une proposition à la haute direction du CNRC pour obtenir l'approbation de dépenses d'immobilisations de 6,9 millions de dollars en vue de la construction d'une installation de mise à l'échelle pour le traitement de produits chimiques dans le cadre du projet de construction d'une installation de recherche flexible sur les terrains du CNRC, sur chemin Montréal. Les documents de planification indiquent que l'installation est destinée à servir aux besoins du programme TMS, mais cinq autres centres de recherche du CNRC ont exprimé leur intérêt à participer au projet en vue d'y mener leurs propres activités et programmes. Il s'agit notamment de Construction, de Développement des cultures et des ressources aquatiques, d'Énergie, Mines et Environnement, d'Aérospatiale et d'Automobile et Transports de surface. Les rapports trimestriels du programme TMS indiquent des retards dans la mise sur pied de l'installation, mais le plan opérationnel du centre de recherche pour l'exercice 2016-2017 indique que l'on travaille avec les Services administratifs et Gestion de l'immobilier du CNRC à la planification de l'installation de recherche flexible, notamment à la détermination de l'emplacement et des spécifications (conception de trois unités qui seront utilisées par la nouvelle installation de production de nanomatériaux, détermination des exigences relatives à l'équipement, etc.).

La majorité des répondants à l'interne au sein de la direction du Centre de recherche sur les TSR et du programme TMS ont répété les sujets de préoccupation soulevés dans les rapports trimestriels et ont fait valoir que l'installation était essentielle à la réussite du programme. Le CEP a admis que l'absence d'une installation de mise à l'échelle pour la synthèse et le traitement des matériaux freine l'élan du programme pour ce qui est du transfert de la technologie, en soulignant que l'absence d'accès à une installation de mise à l'échelle devrait entraîner une modification des attentes à l'égard du programme. Au moment de l'évaluation, l'installation n'avait pas encore été approuvée.

Tâches du Comité d'examen par les pairs

Le processus d'examen par les pairs comprenait trois volets : l'examen de la documentation de base recueillie par l'équipe d'évaluation, la participation à une visite des lieux au CNRC et la production d'un rapport d'examen par les pairs. La durée totale des activités exigées des membres du Comité, incluant la visite des installations a été d'environ 5 jours. Au sein du comité d'examen par les pairs, les membres assumaient les responsabilités suivantes :

• Étudier la documentation de base et se familiariser avec les activités de recherche et les méthodes de gestion du Centre de recherche sur les TSR et de ses programmes.
• Participer à des conférences téléphoniques avant la visite des lieux.
• Participer activement au processus d'examen par les pairs, notamment à la visite des lieux (qui s'est déroulée du 26 au 28 septembre 2017).
• Participer à l'élaboration du rapport d'examen par les pairs.
• Examiner la version provisoire du rapport d'examen par les pairs et formuler des commentaires par écrit.

Examen de la documentation de base

La documentation de base a été transmise aux membres du Comité d'examen par les pairs pour qu'ils puissent en prendre connaissance avant d'effectuer la visite des lieux. Les membres ont étudié la documentation et rempli un « Formulaire de rétroaction initiale pour les membres du Comité d'examen par les pairs ». Le formulaire de rétroaction avait pour but de repérer les lacunes dans l'information qui pouvaient être comblées soit par la fourniture de documents additionnels ou lors de la visite des lieux. Les membres du Comité ont discuté des lacunes au cours d'une conférence téléphonique.

Évaluation initiale

On a ensuite demandé aux membres du Comité d'examen par les pairs de procéder à une évaluation préliminaire du Centre de recherche sur les TSR et de ses programmes en se fondant sur la documentation de base et à l'aide d'une grille d'évaluation créée spécialement à cet effet. La grille d'évaluation contenait une série de questions et les membres devaient y inscrire une note globale (sur une échelle de 3 points – inférieur à la moyenne/moyen/supérieur à la moyenne), fournir des justifications de la note accordée et indiquer les secteurs qui justifieraient une visite plus approfondie une fois qu'ils seraient sur place. Une conférence téléphonique a été organisée pour discuter des évaluations et pour cerner les aspects qui justifieraient que l'on s'y attarde un peu plus lors de la visite sur les lieux.

Visite des lieux

Le processus d'examen par les pairs comprenait une visite d'une durée de 1,5 jour du CNRC, à Ottawa, en Ontario. La visite, qui a été précédée d'un souper de bienvenue le 26 septembre, a eu lieu les 27 et 28 septembre et comprenait des présentations et des discussions sur les activités de recherche passées, actuelles et proposées ainsi qu'une tournée des installations de TSR.

Finalisation du rapport du Comité

Le rapport préliminaire a été mis en page et corrigé à la suite de la visite des lieux et on lui a ajouté de la documentation additionnelle concernant l'objet et la méthodologie de manière à créer une version complète. Un rapport a été produit pour chacun des deux programmes, en plus du rapport d'évaluation global pour l'ensemble du Centre de recherche sur les TSR.

Limites de l'étude

Les limites suivantes ont été déterminées pendant le déroulement du projet. Dans la mesure du possible, on a utilisé des stratégies d'atténuation en vue de réduire leur incidence, tel qu'il est décrit ci-après.

• Une partie des renseignements fournis, particulièrement en ce qui concerne les données bibliométriques, était un peu désuète. On avait prévu qu'une étude bibliométrique plus récente serait prête à temps pour être utilisée dans l'examen, mais des questions concernant la méthodologie utilisée ont finalement convaincu les membres du Comité de ne pas l'inclure dans le processus d'examen par les pairs. Afin d'atténuer les répercussions, des renseignements additionnels concernant les réalisations des principaux chercheurs (prix, récompenses) ont été transmis aux membres du Comité d'examen par les pairs.
• La comparaison du rendement des programmes avec celui d'organisations semblables n'a pas été effectuée au cours de l'étape de la collecte de données du projet. On s'en est remis aux membres du Comité d'examen par les pairs et à leur connaissance d'autres organisations pour effectuer toutes les comparaisons nécessaires.
• Le fait de recourir à un Comité d'examen par les pairs peut introduire des biais inconscients dans les études d'évaluation. Afin d'atténuer ce résultat potentiel, on s'est efforcé de recruter les membres dans un éventail d'organisations et de régions géographiques. On a aussi déployé d'importants efforts pour assurer une représentation féminine au sein du comité.
• Seulement un nombre limité de personnes extérieures ont pu être interrogées pendant la durée du projet. On s'est efforcé de trianguler l'information entre plusieurs sources de données pour fournir un résumé des entrevues au Comité d'examen par les pairs.
• La durée de la visite des lieux a été limitée à 1,5 jour (et un souper de travail a été tenu la veille) afin de réduire le fardeau imposé aux membres du Comité et de respecter les limites du budget. Pour atténuer les répercussions, on a fourni la documentation aux membres du Comité avant leur arrivée sur place, et les réponses aux questions suscitées par l'examen initial de la documentation leur ont été fournies par écrit avant la visite des lieux.