Format de rechange
Version PDF (1,52 MB)
Préparé par : Bureau de la vérification et de l'évaluation Conseil national de recherches du Canada
Approbation : Ce rapport a été approuvé par le président du CNRC le 26 octobre 2018
ISBN : 978-0-660-29031-7
Acronymes et abréviations
AAI | Agent d'audit indépendant |
CMV | Comité ministériel de vérification |
CT | Conseil du Trésor |
DF-SCPT | Direction des finances – Services consultatifs pour les paiements de transfert |
DPF | Dirigeant principal des finances |
EEE | Engagement envers l'excellence |
ESF | Exigence de surveillance financière |
PAD | Plans d'action de la direction |
PPA | Procédures particulières de l'audit |
PARI | Programme d'aide à la recherche industrielle |
SCT | Secrétariat du Conseil du Trésor |
Résumé et conclusion
Contexte
Le Programme d'aide à la recherche industrielle (PARI) du CNRC offre une gamme complète de services d'innovation et de financement aux organismes et aux petites et moyennes entreprises du Canada afin d'accélérer la croissance et de stimuler la création de richesses. La Politique sur les paiements de transfert (2008) du Conseil du Trésor établit des objectifs à l'échelle de l'ensemble du gouvernement pour veiller à ce que le financement, comme celui fourni par le PARI, soit géré de façon intègre, transparente et responsable. Il exige que « les paiements de transfert soient gérés en tenant compte des risques, en maintenant un bon équilibre entre le contrôle et la souplesse, et en regroupant une combinaison appropriée de bonnes pratiques de gestion, d'administration simplifiée et d'exigences claires en matière de rendement ».
Un audit du bénéficiaire est une évaluation qui donne l'assurance qu'un bénéficiaire se conforme à une entente de financement. Elle est menée par un agent d'audit indépendant (AAI) et peut comprendre l'examen de l'admissibilité des dépenses engagées par le bénéficiaire, l'évaluation des contrôles internes liés à l'entente de financement ou la vérification de la validité de tout rapport présenté. Pour assurer l'efficience et l'efficacité d'un audit des bénéficiaires, il est essentiel d'établir et d'appliquer un cadre d'audit axé sur les risques. Ce cadre aide à clarifier le niveau d'assurance, l'intention et les conclusions attendues de la vérification. Il décrit les rôles et les responsabilités des principaux intervenants et assure l'uniformité dans la sélection de bénéficiaires pour l'examen et des procédures d'audit exécutées. Grâce à une approche uniforme, la direction est en mesure de cerner les problèmes importants ou omniprésents qui peuvent nécessiter une attention particulière.
L'audit du cadre de vérification de bénéficiaires du PARI a été approuvé par le président à la suite des recommandations du Comité ministériel de vérification dans le cadre du plan d'audit interne axé sur les risques de 2017-2018 à 2019-2020 du CNRC.
Objectif de l'audit
L'audit visait à fournir l'assurance que le PARI a mis en place un cadre adéquat de la vérification de bénéficiaires pour appuyer l'exécution du programme du PARI et que le cadre fonctionne comme prévu.
Forces
Des structures de gouvernance ont été établies pour veiller à ce que le cadre de vérification de bénéficiaires formellement documenté du PARI soit approuvé par la direction et communiqué à toutes les personnes clés. Le cadre repose sur une approche fondée sur le risque au moyen de procédures d'échantillonnage et de vérification, lesquelles sont exécutées par un agent d'audit indépendant qui a été sélectionné en fonction des critères recommandés dans les Lignes directrices sur l la vérification de bénéficiaires du Secrétariat du Conseil du Trésor. Les résultats de la vérification de bénéficiaires sont communiqués aux principaux intervenants, y compris la direction du PARI, les Finances et le Comité ministériel de vérification du CNRC, et les plans d'action de la direction sont formulés pour les constatations qui nécessitent une attention particulière.
Points à améliorer
Les opportunités ont été identifié afin d'améliorer le cadre de vérification de bénéficiaires, notamment en clarifiant l'intention et les conclusions attendues de la vérification de bénéficiaires et en documentant pleinement toutes les procédures d'échantillonnage. Ceci assurera que la méthode d'échantillonnage est bien appliquée pour appuyer la conclusion et la prise de décisions de gestion qu'on pourrait éventuellement en tirer. De plus, le cadre devrait définir l'échéancier prévu pour chaque phase de la vérification, ainsi que la fréquence et la façon dont les progrès, les résultats et les plans d'action de la direction devraient être présentés et surveillés. Enfin, la disponibilité des ressources internes et les responsabilités connexes devraient être examinées et ajustées, au besoin, afin de s'assurer que toutes les responsabilités en matière de la vérification de bénéficiaires sont remplies en temps opportun.
Recommandations
- Le vice-président du PARI (V.-P., PARI), en collaboration avec le vice président des services corporatifs et dirigeant principal des finances (V.-P., SC et DPF), devrait mettre à jour le cadre pour y inclure :
- le calendrier de chaque phase de la vérification;
- la fréquence et la façon dont les progrès, les résultats et les plans d'action de la direction subséquents sont présentés et surveillés.
[Priorité : modérée]
- Le V.-P. du PARI devrait :
- clarifier l'intention et les conclusions attendues de la vérification de bénéficiaires;
- veiller à ce que la pratique d'échantillonnage soit entièrement documentée et harmonisée avec l'intention pour appuyer la conclusion attendue et éventuellement la décision de gestion à prendre.
[Priorité : élevée]
- Le V.-P. du PARI, en consultation avec le V.-P., SC et DPF, devrait :
- examiner la disponibilité des ressources et les responsabilités connexes;
- ajuster les responsabilités, au besoin, pour s'assurer que toutes les responsabilités liées à l'audit sont remplies en temps opportun.
[Priorité : modérée]
Opinion et conclusion de l'audit
À mon avis, en ma qualité de dirigeante principale de la vérification et de l'évaluation, la majorité des éléments clés du cadre de vérification de bénéficiaires du PARI ont été établis pour appuyer l'exécution des activités la vérification de bénéficiaires. Bien que ces activités de vérification soient conformes à la Politique sur les paiements de transfert du Conseil du Trésor, des améliorations sont nécessaires, comme l'indique le présent rapport d'audit.
Déclaration de conformité
Selon mon jugement professionnel en tant que dirigeante principale de la vérification et de l'évaluation, l'audit est conforme aux Normes internationales pour la pratique professionnelle de l'audit interne de l'Institut des auditeurs internes (Normes de l'IAI) et au Code de déontologie, comme en témoignent les résultats du Programme d'assurance et d'amélioration de la qualité.
Alexandra Dagger, CIA, dirigeante principale de la vérification et de l'évaluation
Remerciements
L'équipe d'audit tient à remercier les personnes qui ont collaboré à cet effort pour souligner les forces et les possibilités d'amélioration du CNRC en ce qui a trait à ce projet d'audit.
1. Introduction
Le Programme d'aide à la recherche industrielle (PARI) du Conseil national de recherches du Canada (CNRC) offre une gamme complète de services d'innovation et de financement aux petites et moyennes entreprises et aux organisations canadiennes afin d'accélérer la croissance et de stimuler la création de richesses. Le financement fourni par le PARI pour les exercices 2014-2015, 2015-2016 et 2016-2017 s'élevait à environ 197 M $ Note de bas de page 1, 219 M $ et 277 M $ respectivement. Le financement prévu pour l'exercice 2017-2018 est d'environ 240 M $.
La Politique sur les paiements de transfert (2008) du Conseil du Trésor (CT) établit des objectifs à l'échelle de l'ensemble du gouvernement pour veiller à ce que le financement, comme celui fourni par le PARI, soit géré de façon intègre, transparente et responsable. Elle exige que « les paiements de transfert soient gérés en tenant compte des risques, en maintenant un bon équilibre entre le contrôle et la souplesse, et en regroupant une combinaison appropriée de bonnes pratiques de gestion, d'administration simplifiée et d'exigences claires en matière de rendement ».
L'audit du cadre de vérification de bénéficiaires du PARI a été approuvé par le Président à la suite des recommandations du Comité ministériel de vérification dans le cadre du plan d'audit interne axé sur les risques de 2017-2018 à 2019-2020 du CNRC.
2. Contexte
Une vérification de bénéficiaire est une évaluation indépendante servant à donner l'assurance qu'un bénéficiaire se conforme aux conditions d'une entente de financement. Elle est menée par un agent d'audit indépendant (AAI) et comprend habituellement l'examen et possiblement l'audit de la conformité à une entente de financement en temps opportun. Selon les Lignes directrices sur les vérifications des bénéficiaires du Secrétariat du Conseil du Trésor (SCT) en vertu de la Politique sur les paiements de transfert et de la Directive sur les paiements de transfert, la vérification de bénéficiaires est un outil utilisé pour la gestion des programmes et la surveillance des bénéficiaires.
Lors de l'établissement d'un cadre axé sur les risques pour les vérifications de bénéficiaires, la direction du programme devrait clairement indiquer l'intention de la vérification des bénéficiaires. C'est à la discrétion de la direction du programme de décider de l'objectif de la vérification dans des circonstances particulières. Au moment de concevoir le cadre de vérification de bénéficiaires de bénéficiaires, la direction du programme devrait tenir compte de l'évaluation du risque, du degré d'assurance souhaité (confiance) et des coûts et avantages relatifs. L'assurance est le degré de confiance auquel le gestionnaire ministériel s'attend à l'égard des conclusions du rapport de vérification de bénéficiaires.
Une vérification de bénéficiaires peut être :
- un « audit », qui fournit une assurance élevée ou raisonnable que les renseignements financiers et non financiers faisant l'objet d'un examen sont exempts d'inexactitudes importantes et met en évidence les points sur lesquels la direction doit porter son attention;
- une mission d'examen avec une assurance modérée, qui fournit à l'organisation un rapport sur tout ce qui peut indiquer une inexactitude importante;
- application des procédures particulières d'audit, qui ne fournissent aucune assurance puisque les résultats sont fondés uniquement sur des constatations factuelles tirées des procédures exécutées. Les procédures particulières d'audit permettent à la direction d'adapter la mission pour qu'elle se concentre sur des domaines particuliers ou des procédures précises en fonction du risque.
Il convient de noter qu'une vérification des bénéficiaires ne donne pas l'assurance absolue qu'il n'y a pas d'erreurs ou d'omissions (p. ex., inexactitude d'une demande soumise).
La Directive sur les paiements de transfert du SCT stipule que la direction du programme est responsable de « déterminer le moment auquel il faut procéder à des audits vérifications de bénéficiaire, lesquelles s'ajouteront aux autres activités ministérielles de surveillance, et élaborer et mettre en œuvre un plan à cette fin ». Dans le cadre d'une approche fondée sur le risque, les ententes de financement ayant la cote de risque la plus élevée (p. ex., importance ou sensibilité, complexité et importance relative d'un programme, valeur du financement ou profil de risque du bénéficiaire) sont choisies pour un suivi accru.
Les activités de vérifications de bénéficiaires peuvent comprendre l'examen des tâches exécutées par un bénéficiaire, la vérification de la validité des rapports présentés, l'évaluation des contrôles internes des bénéficiaires liés à l'entente de financement, l'examen de l'admissibilité des dépenses engagées ou la confirmation que les objectifs de rendement définis dans l'entente sont atteints. Pour assurer l'efficience et l'efficacité de la vérification de bénéficiaires, il faut tenir compte de l'équilibre entre les coûts administratifs, le niveau d'assurance, les résultats souhaités et le profil de risque des bénéficiaires au moment de la conception des procédures d'audit et des activités de surveillance et de production de rapports.
La vérification de bénéficiaires n'est que l'un des nombreux types d'activités d'assurance qui sont en place pour appuyer la surveillance continue des bénéficiaires par le personnel du programme, comme les visites sur place de bénéficiaires. La vérification de bénéficiaires appuie le rôle du Comité ministériel de vérification et du dirigeant principal des finances. Elle complète également le rôle de la fonction d'audit interne en fournissant une assurance supplémentaire que les fonds sont utilisés aux fins prévues. Le rôle de la fonction d'audit interne est de fournir un examen et une évaluation professionnels, indépendants de la gestion des programmes, des processus ministériels de gestion des risques, de contrôle et de gouvernance. Les Lignes directrices sur la vérification de bénéficiaires du SCT recommande que le personnel de l'audit interne ne procède pas à la vérification de bénéficiaires, et ce, afin de maintenir l'indépendance par rapport au processus d'audit de bénéficiaires, et qu'il puisse plutôt vérifier le processus de surveillance des bénéficiaires effectué par la direction du programme (c-à-d. le cadre de vérification de bénéficiaires).
Le cadre de vérification de bénéficiaires du PARI doit être mis à jour chaque année pour appuyer l'exécution de la vérification de bénéficiaires, qui est gérée par le Service de la division PARI, en collaboration avec la Direction des finances – Services consultatifs pour les paiements de transfert (DF-SCPT). Au cours de l'exercice 2015-2016, le PARI est passé d'un « audit » complet à une approche axée sur des procédures particulières d'audit, comme il a été décrit précédemment, afin de mettre l'accent sur les aspects d'un accord de contribution jugés risqués, comme l'admissibilité des coûts réclamés par le bénéficiaire. Les résultats fournis par l'AAI sont fondés sur des constatations factuelles tirées des procédures exécutées, qui sont ensuite examinées et analysées par le PARI et la DF-SCPT. La sélection des bénéficiaires devant faire l'objet d'une vérification (c-à-d. la sélection de l'échantillon de bénéficiaires) et l'élaboration de procédures particulières de vérification sont effectuées par le PARI et la DF-SCPT. Les procédures particulières d'audit sont ensuite exécutées par l'AAI.
Un résumé de haut niveau du processus d'audit de bénéficiaires du PARI a été présenté ci-dessous.
Description détaillée de la figure 1
La figure 1 est un organigramme décrivant les quatre phases du processus de vérification des bénéficiaires du PARI. Les quatre phases sont les suivantes : planification, exécution, rapports, et surveillance. Au cours de la phase de planification, les deux activités réalisées consistent à mettre à jour le plan d'audit et à le faire approuver par le V.P.-PARI et le Direction des finances. Au cours de la phase d'exécution, les trois activités en cours consistent à sélectionner les bénéficiaires qui feront l'objet d'un audit par le PARI et la Direction des finances, à envoyer les lettres d'avis d'audit aux bénéficiaires par le PARI et la Direction des finances et à exécuter les procédures d'audit par l'AAI. Au cours de la phase de rapports, les quatre activités en cours consistent à produire les rapports individuels et sommaires par l'AAI, à préparer le rapport sommaire interne par le PARI et la Direction des finances, à communiquer les résultats à la direction du PARI, des Finances et au Comité ministériel de vérification, et à documenter les plans d'action par le PARI. Dans la phase de surveillance, les deux activités en cours consistent à surveiller les mesures de recouvrement des trop-payés par la Direction des Finances et à surveiller les plans d'action de la direction par le PARI.
L'existence et l'application d'un cadre de vérification de bénéficiaires sont essentielles pour assurer l'efficience et l'efficacité des activités de la vérification de bénéficiaires. Ce cadre clarifie les rôles et les responsabilités des principaux intervenants et assure l'uniformité à la fois dans la sélection de bénéficiaires pour l'examen et des procédures de vérification exécutées. Grâce à une approche uniforme, la direction est en mesure de cerner les problèmes importants ou omniprésents qui peuvent nécessiter une attention particulière.
3. A propos de l'audit
La fonction d'audit interne du CNRC vise à fournir une assurance de la fiabilité et de l'intégrité de l'information financière et opérationnelle, de l'efficacité et de l'efficience des opérations, et des façons dont l'organisation protège les biens et se conforme aux lois, aux politiques, aux règlements et aux contrats Note de bas de page 2.
Objectif
L'objectif de notre audit était de fournir l'assurance que le PARI a mis en place un cadre de vérification de bénéficiaires adéquat pour appuyer l'exécution du programme du PARI et que le cadre fonctionne comme prévu.
Portée
L'audit a porté sur la gouvernance, la gestion des risques et les processus de contrôle à l'appui de la conception, de l'approbation et de la mise en œuvre du cadre de vérification de bénéficiaires du PARI. En nous appuyant sur les politiques et les directives du CT, notre audit a permis d'évaluer la pertinence et l'application du cadre, ainsi que la façon dont les résultats de l'audit ont été pris en compte pour s'assurer que les principaux risques étaient atténués et que les fonds des bénéficiaires étaient utilisés comme prévu.
La portée de l'audit excluait les critères utilisés pour attribuer des cotes de risque aux bénéficiaires individuels du PARI, lesquelles sont appelées des exigences de surveillance financière (ESF). Notre audit a plutôt porté sur la façon dont les cotes d'ESF attribuées sont prises en compte dans la méthodologie d'échantillonnage utilisée pour sélectionner les bénéficiaires. L'audit ne comprenait pas une réexécution de la vérification annuelle debénéficiaires, puisqu'elle s'est concentrée uniquement sur le cadre défini, documenté et exécuté.
Le PARI désigne son cadre de vérification de bénéficiaires comme un « plan d'audit ». Toutefois, son plan d'audit comprend les deux éléments d'un cadre qui demeurent statiques chaque année (c.-à-d. les rôles et les responsabilités), ainsi que les détails du plan d'audit propres à l'année visée. Aux fins du présent rapport, nous désignerons le plan d'audit du PARI comme un « cadre ». Notre audit comprenait un examen de deux cadres de vérification de bénéficiaires :
- celui de l'exercice 2015-2016 (pour le financement accordé en 2014-2015);
- celui de l'exercice 2017-2018 (pour le financement accordé en 2015-2016 et en 2016-2017).
Comme la vérification des bénéficiaires pour l'exercice 2017-2018 était en cours durant notre audit, nous avons intégré le cadre précédent pour nous permettre d'évaluer toutes les phases de la vérification des bénéficiaires, y compris la planification, l'exécution et la production de rapports. Le contenu des deux cadres était généralement uniforme d'une année à l'autre, et si une constatation est propre à un seul cadre, nous le préciserons dans notre rapport.
Approche/méthodologie
L'audit a été effectué conformément aux normes de l'Institut des auditeurs internes et à la Politique sur la vérification interne du CT et aux instruments de politique connexes. Les critères d'audit, décrits en détail à l'annexe A, ont été formulés en tenant compte des principaux risques cernés ainsi que des principaux objectifs de contrôle énoncés dans les contrôles de gestion de base du Conseil du Trésor du Canada. Ces critères d'audit ont généré les bases d'un programme d'audit détaillé qui nous a permis d'effectuer une évaluation approfondie du cadre actuel de vérification de bénéficiaires.
La méthodologie d'audit comprenait les procédures suivantes :
- examen de la documentation (y compris les politiques et les directives du CT, les cadres d'audit des bénéficiaires d'autres organismes gouvernementaux, la documentation et les présentations internes du PARI, et les rapports de l'AAI);
- entrevues avec le Service de la division PARI, les directeurs exécutifs régionaux du PARI et le personnel des paiements de transfert de la Direction des finances;
- examen analytique de la méthodologie d'échantillonnage et de la sélection du PARI.
4. Constatations de l'audit et recommandations
La section suivante présente les principales constatations de l'audit ainsi que trois recommandations visant à ajouter de la valeur aux opérations de paiements de transfert et aux stratégies de gestion des risques du CNRC. Les constatations et les recommandations ont été classées comme suit :
- Conception et application du cadre
- Ressources de vérification de bénéficiaires
- Rapports et surveillance des résultats de la vérification des bénéficiaires
4.1 Conception et application du cadre
Conclusion sommaire
Le PARI dispose d'un cadre de vérification de bénéficiaires formellement documenté et approuvé, qui a été communiqué à tous les intervenants clés. Le cadre de vérification de bénéficiaires s'harmonise avec les exigences du CT et applique une approche fondée sur les risques au moyen de procédures de sélection d'échantillons et d'audit.
Il existe une occasion de clarifier l'intention et les conclusions attendues de la vérification de bénéficiaires. De plus, le calendrier de chaque phase de la vérification de bénéficiaires, ainsi que la fréquence et la façon dont les progrès, les résultats et les plans d'action de la direction subséquents sont surveillés, devraient être définis dans le cadre de vérification de bénéficiaires.
Notre audit visait à confirmer l'existence d'un cadre formellement documenté qui décrit l'objectif, l'intention et les conclusions attendues de la vérification. Elle visait également à déterminer si le cadre définissait clairement les rôles et les responsabilités, une méthode d'échantillonnage fondée sur les risques pour choisir le bénéficiaire à vérifier et les procédures d'audit à exécuter. Nous nous attendions à ce que le calendrier de chaque phase de la vérification de bénéficiaires et les exigences en matière de rapports et de surveillance des activités de suivi soient définis. Enfin, nous avons cherché à confirmer qu'une structure de gouvernance était en place pour permettre l'examen et l'approbation du cadre par la direction et la diffusion de celui-ci à toutes les personnes clés.
Observations
4.1.1 Conception et documentation
Le cadre de vérification de bénéficiaires du PARI a été officiellement documenté et il est mis à jour annuellement pour chaque vérification annuel de bénéficiaires grâce à la collaboration entre le groupe d'expertise du programme du PARI et la Direction des finances. Une structure de gouvernance a été établie pour veiller à ce que le cadre final soit approuvé par le vice-président du PARI et le vice-président des services corporatifs et dirigeant principal des finances (DPF). Le cadre approuvé est communiqué aux principaux responsables du PARI et des Finances afin de s'assurer qu'ils disposent des directives nécessaires pour s'acquitter de leurs responsabilités en matière de la vérification.
La plupart des éléments clés du cadre de vérification de bénéficiaires ont été conçus et bien documentés et reflètent les directives fournies dans les Lignes directrices sur la vérification de bénéficiaires du SCT. Les rôles et les responsabilités attribués aux experts du programme du PARI au sein du Service de la division PARI, à la DF-SCPT et à la haute direction ont été définis et documentés pour les principales phases de la vérification de bénéficiaires, y compris la planification, l'exécution, la production de rapports et la surveillance. La portée et l'objectif de la vérification de bénéficiaires, tels qu'ils sont énoncés dans le cadre, comprennent un aperçu des procédures de vérification qui doivent être exécutées pour l'année visée. Toutefois, le cadre ne définit pas l'échéancier prévu pour chaque phase de la vérification de bénéficiaires, y compris la planification, l'exécution et la production de rapports, afin d'établir des orientations et des priorités claires.
Une approche axée sur les risques est utilisée pour déterminer les procédures particulières de vérification en fonction des secteurs d'un accord de contribution jugés les plus risqués, y compris l'admissibilité des dépenses réclamées par un bénéficiaire et la conformité d'un bénéficiaire au financement gouvernemental maximal admissible accordé. Les exigences en matière de rapports et de surveillance pour les résultats et les constatations de la vérification qui exigent des mesures de la direction ont également été documentées. Toutefois, la fréquence et la façon dont les progrès, les résultats et les plans d'action de la direction liés à la vérification des bénéficiaires doivent être discutés et surveillés n'ont pas été définies.
Recommandation
En l'absence d'un échéancier défini pour chaque phase de la vérification de bénéficiaires, il se peut que les activités de vérification de bénéficiaires ne soient pas menées en temps opportun pour permettre de cerner les problèmes, comme le montre la figure 3. De plus, si la fréquence et la façon dont les rapports et la surveillance des plans d'action doivent être effectués ne sont pas définies, il se peut que les plans d'action ne soient pas mis en œuvre en temps opportun ou complètement pour régler les problèmes cernés.
Pour atténuer ces risques potentiels, nous recommandons ce qui suit :
1. Le vice-président du PARI (V.-P., PARI), en collaboration avec le vice président des services corporatifs et dirigeant principal des finances (V.-P., SC et DPF), devrait mettre à jour le cadre pour y inclure :
- le calendrier de chaque phase de la vérification des bénéficiaires;
- la fréquence et la façon dont les progrès, les résultats et les plans d'action de la direction subséquents sont présentés et surveillés.
[Priorité : modérée]
4.1.2 Méthodologie d'échantillonnage
Le cadre de vérification de bénéficiaires du PARI comprend une approche documentée fondée sur le risque par laquelle les accords de contribution ayant la cote de risque la plus élevée sont sélectionnés pour une surveillance accrue. Lors de l'établissement d'un accord de contribution entre le CNRC et un bénéficiaire admissible, le PARI attribue au bénéficiaire une cote de risque liée à l'exigence de surveillance financière (ESF) correspondant à « élevé », « moyen », « faible » ou « exempté ». L'ESF est déterminée en fonction de sept critères de poids variable, y compris les antécédents du bénéficiaire auprès du CNRC et la capacité du bénéficiaire à tenir des dossiers. L'ESF est attribuée avant la signature de chaque accord de contribution et sert à effectuer la sélection de l'échantillon de bénéficiaires. Cette pratique est conforme au modèle de gestion des risques suggéré par les Lignes directrices sur la vérification des bénéficiaires du SCT. Il convient de noter qu'une évaluation du processus d'attribution des cotes d'ESF ne faisait pas partie de la portée de notre audit.
En plus des cotes d'ESF, le cadre de vérification de bénéficiaires du PARI comprend également une évaluation des risques au niveau du programme afin de déterminer le nombre d'échantillons de bénéficiaires à sélectionner dans chacun des programmes du PARI, y compris divers programmes d'innovation technologique et d'emploi des jeunes. Les programmes jugés moins risqués sont moins représentés dans le nombre de bénéficiaires sélectionnés pour la vérification du PARI.
Notre audit a confirmé que les échantillons sélectionnés pour la vérification des bénéficiaires de l'exercice 2015-2016 étaient conformes à l'approche fondée sur les risques décrite dans le cadre de vérification de bénéficiaires. En fonction du nombre d'échantillons à sélectionner dans chacun des programmes du PARI, la DF-SCPT sélectionne au hasard la liste initiale des bénéficiaires à vérifier. Avant de mettre la dernière main à la liste, d'autres facteurs sont pris en compte, en fonction des connaissances commerciales régionales acquises en travaillant avec les bénéficiaires partout au Canada. Une fois que l'échantillon des bénéficiaires est définitif, l'agent d'audit indépendant (AAI) détermine, en consultation avec le PARI et la DF-SCPT, si les procédures d'audit de chaque bénéficiaire seront exécutées à distance à partir du bureau de l'AAI (« maudit au bureau m») ou sur place au bureau du bénéficiaire (« maudit sur place m»). La décision est fondée sur les risques prédéterminés, y compris le risque de tendances inhabituelles dans les réclamations ou le risque de réclamations présentées en sus des coûts admissibles prévus par l'accord de contribution. Toutes les procédures particulières de vérification applicables sont exécutées sur l'échantillon définitif des bénéficiaires sélectionnés.
Pour déterminer l'admissibilité des dépenses réclamées, un échantillon des coûts réclamés par chaque bénéficiaire est examiné conformément à son accord de contribution respectif. Les coûts choisis pour l'examen sont fondés sur les catégories de dépenses décrites dans les procédures de vérification approuvées (p. ex., les coûts salariaux des employés ou les honoraires des entrepreneurs). Le nombre d'employés ou d'entrepreneurs sélectionnés pour l'examen est étayé par des directives d'échantillonnage fournies par l'agent d'audit indépendant. Les éléments de chaque catégorie de dépenses sont choisis non aléatoirement par l'AAI selon son jugement professionnel. Le processus de sélection de l'échantillon décrit ci-dessus n'a pas été entièrement documenté.
La figure 2 présente un résumé de haut niveau de la méthodologie d'échantillonnage utilisée pour vérifier l'admissibilité des dépenses, selon notre examen de la méthode d'échantillonnage appliquée.
Description détaillée de la figure 2
La figure 2 est un organigramme résumant la méthode d'échantillonnage appliquée pour vérifier l'éligibilité des dépenses. Le diagramme de processus commence par la définition de la population qui regroupe, les bénéficiaires ayant reçu du financement durant la période visée. Une fois la population définie, les bénéficiaires du PARI sont sélectionnés aléatoirement dans des échantillons en fonction du risque et des connaissances commerciales régionales. Les échantillons sont ensuite répartis entre l'audit au bureau et la visite sur place. Au sein des bénéficiaires sélectionnés, la sélection des dépenses est effectuée en déterminant le nombre de particuliers à sélectionner pour chaque catégorie de dépenses, puis en sélectionnant de manière non aléatoire les particuliers qui feront l'objet d'un examen.
Il convient de noter que les éléments dans chaque catégorie de dépenses sont choisis de façon non aléatoire, ce qui n'appuie pas l'approche d'échantillonnage aléatoire mentionnée dans le cadre. De plus, comme le cadre de vérification n'a pas clairement défini l'intention et les conclusions attendues de l'approche d'échantillonnage, il y a un risque que les résultats soient mal interprétés. Par exemple, si le PARI a l'intention de tirer des conclusions générales sur la population en fonction des résultats de l'audit, ce qu'on appelle aussi extrapolation Note de bas de page 3, l'approche d'échantillonnage doit être aléatoire à toutes les étapes de la sélection, peu importe la taille de l'échantillon sélectionné. Si le PARI a l'intention de cibler des bénéficiaires particuliers en se fondant sur le jugement professionnel et des critères prédéterminés, l'échantillonnage non aléatoire devrait être appliqué.
Selon le cadre de vérification du PARI, la taille de l'échantillon de bénéficiaires est passée de 50 à 72 par année Note de bas de page 4 pour la vérification de bénéficiaires de l'exercice 2017-2018 afin de l'harmoniser avec l'approche Échantillonnage statistique des demandes de paiement » recommandée par le Conseil de la communauté des finances. Le rôle du Conseil de la communauté financière est de mettre en œuvre des pratiques exemplaires en matière de finances à l'échelle du gouvernement fédéral. Selon l'approche « Échantillonnage statistique des demandes de paiement », l'échantillonnage statistique doit être aléatoire à toutes les étapes de la sélection de l'échantillon pour permettre l'extrapolation, et la taille de l'échantillon doit être représentative de la population. Pour la vérification de bénéficiaires de l'exercice 2017-2018, l'exigence relative à la taille de l'échantillon est satisfaite en utilisant une taille d'échantillon de 72, calculée selon un degré de confiance de 95 % Note de bas de page 5, un taux d'erreur prévu de 5 % Note de bas de page 6 et un intervalle de précision de 5 % Note de bas de page 7. Conformément à la discussion avec l'AAI, l'approche d'échantillonnage actuelle ne permet pas l'extrapolation (p. ex., la valeur totale en dollars du trop-payés), car la sélection de l'échantillon n'est pas aléatoire à toutes les étapes. Il est également important de noter que le seul avantage de l'échantillonnage statistique est de fournir une conclusion statistique sur la population.
D'après les entrevues avec le PARI et la Direction des finances, la vérification de bénéficiaires ne vise pas à fournir une conclusion statistique. Par conséquent, nous avons noté qu'il n'y a aucune justification pour l'augmentation de la taille de l'échantillon, qui est passée de 50 à 72 par année dans la vérification de bénéficiaires de l'exercice 2017-2018, et pour le coût additionnel résultant d'environ 265 000 $ Note de bas de page 8, si l'on n'avait pas l'intention d'appliquer la méthodologie visant à fournir une conclusion statistique précisée dans le cadre d'audit du PARI. Il est important de noter que l'intention de l'échantillonnage et les conclusions attendues de la vérification de bénéficiaire sont à la discrétion du CNRC. Comme le PARI n'a pas clairement défini son intention d'échantillonnage dans le cadre de vérification pour appuyer son approche d'échantillonnage, les résultats de la vérification peuvent être mal interprétés.
Recommandation
En l'absence de procédures d'échantillonnage bien documentées, il y a un risque qu'une approche d'échantillonnage incohérente soit appliquée. Étant donné que différentes applications des procédures d'échantillonnage ont une incidence directe sur la façon dont les résultats de l'audit peuvent être interprétés, le risque d'application d'une approche d'échantillonnage incohérente, combiné à l'absence d'une intention clairement définie et des conclusions attendues, peut mener à une mauvaise interprétation des résultats de l'audit rapportés.
Pour atténuer ces risques potentiels, nous recommandons ce qui suit :
2. Le V.-P. du PARI devrait :
- clarifier l'intention et les conclusions attendues de la vérification de bénéficiaires;
- veiller à ce que la pratique d'échantillonnage soit entièrement documentée et harmonisée avec le résultat souhaité pour appuyer la conclusion et éventuellement la décision de gestion à prendre.
[Priorité : élevée]
4.2 Ressources de vérification de bénéficiaires
Conclusion sommaire
Des ressources internes et un budget ministériel ont été alloués pour permettre au PARI de s'acquitter de ses responsabilités en matière de la vérification de bénéficiaires. Toutefois, il existe une occasion d'examiner les responsabilités attribuées aux personnes clés et de les ajuster au besoin pour s'assurer que les contraintes actuelles en matière de ressources sont prises en compte.
Notre audit visait à confirmer que des ressources et un budget ministériel étaient en place pour veiller à ce que le PARI ait la capacité de s'acquitter de ses responsabilités en matière de la vérification des bénéficiaires. Nous nous attendions à ce que l'AAI engagé par le CNRC ait été choisi en fonction des critères énoncés dans les Lignes directrices sur la vérification de bénéficiaires du SCT et que le travail effectué par l'AAI soit conforme à l'énoncé des travaux signé. De plus, nous nous attendions à ce que l'AAI ait un accès complet et en temps opportun aux renseignements requis pour effectuer la vérification des bénéficiaires, comme le cadre de vérification de bénéficiaires du PARI et la documentation requise de bénéficiaires.
Observations
Les Lignes directrices sur la vérification de bénéficiaires du SCT exige qu'un vérificateur indépendant effectue la vérification des bénéficiaires. Notre audit a confirmé que l'AAI a été sélectionné en fonction des critères de cotation préétablis et que le processus de sélection a été coordonné par le Service de l'approvisionnement et des marchés du CNRC. Le même AAI a été engagé pour effectuer les deux vérifications de bénéficiaires visées par notre examen, et il n'y avait aucune divergence entre les procédures de vérification convenues dans l'énoncé des travaux, les procédures vérification effectuées et les constatations fournies. D'après notre entrevue avec l'AAI, il n'y a eu aucun problème quant à l'exhaustivité de l'information reçue du CNRC pour l'exécution de la vérification de bénéficiaires de l'exercice 2015-2016.
Des ressources internes et un budget ministériel ont été alloués pour permettre au PARI et à la DF-SCPT de répondre aux exigences en matière de vérification de bénéficiaires. Notre examen a confirmé que les responsabilités liées à la vérification de bénéficiaires étaient documentées dans les plans annuels de gestion du rendement d'employés clés dans le cadre de l'Engagement envers l'excellence (EEE). Cette documentation des responsabilités dans l'EEE a démontré que les responsabilités en matière de vérification des bénéficiaires ont été prises en considération et attribuées à des personnes clés.
Avec l'introduction de procédures particulières d'audit pour la vérification de bénéficiaires de l'exercice 2015-2016, il a fallu plus de temps pour développer les procédures. Cela a retardé la livraison des résultats au CNRC par l'AAI. De plus, le PARI et la Direction des finances ont dû déployer des efforts supplémentaires pour analyser les observations formulées par l'AAI et compiler des rapports sommaires internes afin de recommander les mesures appropriées. Ce retard dans la production des résultats de la vérification de bénéficiaires de l'exercice 2015-2016 a entraîné la combinaison de deux années de financement dans le cadre de la vérification actuelle de bénéficiaires de l'exercice 2017-2018. Cet arriéré a été signalé par le PARI lui-même.
L'AAI s'est engagé à mettre en œuvre des stratégies d'atténuation pour la vérification de bénéficiaires en cours afin d'améliorer la rapidité de production des rapports, dont certaines comprennent l'uniformité des modèles de rapport, des réunions d'étape bi-hebdomadaires avec la DF-SCPT et des stratégies de communication améliorées en cas de réponses tardives de bénéficiaires. Malgré les stratégies d'atténuation mises en œuvre, cette introduction de procédures particulières d'audit pour la vérification des bénéficiaires de l'exercice 2015-2016 a entraîné une augmentation de la charge de travail, ce qui a créé des contraintes de ressources internes. De plus, bien que la taille de l'échantillon pour la vérification des bénéficiaires de l'exercice 2017-2018 ait augmenté en raison de l'arriéré, des ressources supplémentaires n'ont pas été affectées.
Recommandation
L'introduction de procédures particulières d'audit pour la vérification des bénéficiaires de l'exercice 2015-2016 s'est traduite par des contraintes de ressources internes. Les contraintes de ressources internes, combinées à l'augmentation de la taille de l'échantillon pour la vérification de bénéficiaires de l'exercice 2017-2018, pourraient faire en sorte que les responsabilités en matière de la vérification de bénéficiaires ne soient pas exécutées comme prévu.
Pour atténuer ces risques potentiels, nous recommandons ce qui :
3. Le V.-P., PARI, en consultation avec le V.-P., SC et DPF, devrait :
- examiner la disponibilité des ressources et les responsabilités connexes;
- ajuster les responsabilités, au besoin, pour s'assurer que toutes les responsabilités liées à la vérification de bénéficiaires sont remplies en temps opportun.
[Priorité : modérée]
4.3 Rapports et surveillance des résultats de la vérification de bénéficiaires
Conclusion sommaire
Les résultats et les constatations de la vérification de bénéficiaires sont communiqués aux principaux intervenants, y compris la direction du PARI, la Direction des finances et le Comité ministériel de vérification (CMV). Toutefois, les résultats de la vérification de bénéficiaires de l'exercice 2015-2016 n'ont pas été présentés en temps opportun. Une stratégie d'atténuation a été lancée pour améliorer la rapidité de production des rapports pour la vérification de bénéficiaires de l'exercice 2017-2018.
Des plans d'action de la direction sont créés pour les constatations de la vérification de bénéficiaires qui nécessitent une attention particulière. Le PARI dispose d'outils pour assurer le suivi des recommandations et des plans d'action de la direction, mais les plans d'action documentés pourraient être améliorés en précisant les délais d'exécution. Les progrès réalisés par rapport à tous les plans d'action de la direction devraient être surveillés et mis à jour dans les outils de suivi.
L'audit visait à déterminer si les résultats de la vérification de bénéficiaires sont mesurés par rapport à des attentes clairement définies, s'ils sont communiqués en temps opportun aux intervenants clés concernés et si des plans d'action de la direction sont développés pour les constatations de la vérification de bénéficiaires nécessitant une attention particulière. Afin d'améliorer les processus opérationnels, nous nous attendions à ce que les progrès réalisés par rapport aux plans d'action fassent l'objet d'un suivi et de discussions régulières en temps opportun, et que les leçons apprises à la suite des constatations de la vérification des bénéficiaires soient consignées et communiquées au personnel du PARI.
Observations
Pour la vérification de bénéficiaires de l'exercice 2015-2016, l'AAI a produit des rapports sur les constatations de chaque bénéficiaire ainsi qu'un rapport sommaire global de vérification des bénéficiaires. Les experts des programmes du PARI, en collaboration avec les Finances, ont effectué une analyse supplémentaire sur les rapports reçus de l'AAI et ont compilé les constatations dans un rapport interne de vérification de bénéficiaires. Le retard dans l'achèvement de la vérification de bénéficiaires, dont il a été question au paragraphe 4.2, a entraîné un retard dans la réception des rapports définitifs de l'AAI et, par la suite, un retard dans la communication des résultats aux principaux intervenants.
La figure ci-dessous donne un aperçu des dates réelles et estimées d'achèvement pour le financement accordé entre l'exercice 2014-2015 et l'exercice 2017-2018.
Description détaillée de la figure 3
La figure 3 est un diagramme de Gantt illustrant les dates d'achèvement réelles et prévues du financement fourni entre les exercices 2014-2015 à 2017-2018. Pour le financement accordé au cours de l'exercice 2014-2015 avec la fin de l'exercice budgétaire le 31-03-2015, le rapport de synthèse d'audit du bénéficiaire de l'AAI a été reçu le 30-11-2016 et le rapport de synthèse d'audit du bénéficiaire du CNRC a été reçu le 09-05-2017. En résumé, il a fallu 2,1 ans entre la fin de l'exercice et la production du premier rapport sommaire du CNRC. Pour le financement octroyé au cours de l'exercice 2015-2016 avec la fin de l'exercice financier le 31-03-2016, le rapport de synthèse d'audit du bénéficiaire de l'AAI a été reçu le 30-09-2018 et le rapport de synthèse d'audit du bénéficiaire du CNRC était toujours en préparation. En résumé, il aura fallu 2,5 ans entre la fin de l'exercice et la date de fin prévue des travaux de l'AAI. L'IA a noté qu'il faut du temps additionnel pour la production du rapport sommaire du CNRC. Pour le financement octroyé au cours de l'exercice 2016-17 avec la fin de l'exercice financier le 31-03-2017, le rapport de synthèse d'audit du bénéficiaire de l'AAI serait reçu le 30-09-2018 et le rapport de synthèse d'audit du bénéficiaire du CNRC était encore en préparation. En résumé, il aurait fallu 1,5 ans entre la fin de l'exercice et la date de fin prévue des travaux de l'AAI. L'IA a noté qu'il fallait plus de temps pour la publication du rapport de synthèse du CNRC. Pour le financement accordé au cours de l'exercice 2017-2018 avec la fin de l'exercice financier le 31-03-2018, le processus d'audit des bénéficiaires n'avait pas encore commencé.
Comme le montre la figure 3, il a nécessité 2,1 ans entre la fin de l'exercice 2014-2015 et la publication du premier rapport sommaire interne du PARI. Afin de maximiser les avantages de la vérification de bénéficiaires, les constatations doivent être présentées en temps opportun. Pour ce faire, la vérification de bénéficiaires doit être planifiée avant la fin de l'accord de contribution, ou à la fin d'un accord de contribution si l'on s'attend à ce que le financement soit fourni de nouveau au bénéficiaire à l'avenir.
Les résultats et les constatations de la vérification de bénéficiaires sont communiqués aux principaux intervenants de divers niveaux de gestion au PARI. Les entrevues avec l'équipe des directeurs exécutifs régionaux ont permis de confirmer que les résultats et les constatations sont communiqués durant les réunions de l'équipe de la haute direction, ainsi que par courriel. Les directeurs du PARI reçoivent des mises à jour sur les résultats dans le cadre des réunions du Comité consultatif sur l'exécution des programmes du PARI. Enfin, le DPF reçoit des mises à jour sur l'audit par la présentation effectuée par le PARI aux réunions du CMV du CNRC.
Les constatations relevées dans les rapports de vérification de bénéficiaires fournis par l'AAI sont évaluées par le PARI et la DF-SCPT afin de déterminer celles qui nécessitent un suivi. Les constatations qui nécessitent une attention particulière sont mises en évidence en fonction de critères clairement définis et d'indicateurs de rendement clés décrits dans le cadre de vérification. Les constatations considérées comme « systémiques » sont traitées par les experts des programmes du PARI, car elles peuvent toucher un grand nombre ou l'ensemble des bénéficiaires. Les cas particuliers de bénéficiaires, comme le trop-payés et les audits subséquents des demandes soumises, sont communiqués aux régions respectives pour qu'elles prennent des mesures. Le PARI dispose d'outils de technologie de l'information pour faire le suivi des constatations et des plans d'action de la direction pour les constatations systémiques et celles propres aux bénéficiaires individuels.
Bien que les mises à jour sur les activités, l'état de la mise en œuvre et le personnel responsable de la mise en œuvre aient été documentés dans les outils de suivi, les dates cibles d'achèvement des plans d'action n'ont pas été précisées. La documentation des dates cibles d'achèvement permettrait d'établir l'ordre de priorité des plans d'action et d'améliorer la responsabilisation à l'égard de l'achèvement. Le cadre de vérification indique également que la DF-SCPT est responsable de la surveillance du recouvrement du trop-payés. Cependant, lors d'entrevues et d'examens de dossiers, nous avons confirmé que ce n'est pas le processus actuel en raison de contraintes de ressources. De plus, bien que les constatations propres à chaque bénéficiaire soient envoyées aux régions respectives pour qu'elles les saisissent dans leurs outils de suivi, au moment de notre examen, les mises à jour des progrès n'étaient pas documentées.
La consignation de la fréquence et de moyens de surveiller les progrès par rapport aux plans d'action améliorerait la reddition de comptes pour le suivi et la surveillance des progrès liés aux plans d'action. En outre, un examen des ressources et des responsabilités permettrait un ajustement éventuel de l'attribution des responsabilités afin de s'assurer qu'il y a suffisamment de temps pour le suivi des plans d'action au sein du PARI et des Finances.
Recommandations
Des retards dans la communication des résultats de la vérification, des plans d'action incomplets et un manque de suivi des progrès par rapport aux plans d'action pourraient faire en sorte que les lacunes ne soient pas corrigées ou que les plans d'action ne soient pas mis en œuvre en temps opportun ou complètement.
Pour atténuer ces risques potentiels, veuillez consulter les recommandations 1 et 3.
Annexe A : Critères d'audit
Champ d'enquête | Critères d'audit |
---|---|
1.0 Gouvernance : La structure et les processus de gouvernance ont été conçus et mis en œuvre pour permettre la gestion et l'exécution efficaces du cadre de vérification de bénéficiaires. |
|
2.0 Gestion des risques : Le PARI utilise une solide approche fondée sur le risque pour l'élaboration et l'application du cadre de vérification de bénéficiaires. |
|
3.0 Contrôles opérationnels : Le PARI a fourni une orientation et des ressources appropriées pour s'acquitter de ses responsabilités en matière d'audit des bénéficiaires. |
|
4.0 Rapports, suivi et surveillance : Les activités et les résultats de l'audit des bénéficiaires sont présentés de façon uniforme et en temps opportun, afin d'appuyer la prise de décisions et d'assurer une surveillance efficace. |
|
Annexe B : Plan d'action de la direction
Définition de la priorité des recommandations | |
---|---|
Élevée | La mise en œuvre est recommandée dans un délai de six mois afin de réduire le risque d'événements susceptibles d'avoir une forte probabilité ou des répercussions importantes qui pourraient nuire à l'intégrité des processus de gouvernance, de gestion des risques et de contrôle du CNRC. |
Modérée | La mise en œuvre est recommandée dans un délai d'un an afin de réduire le risque d'événements potentiels qui pourraient nuire à l'intégrité des processus de gouvernance, de gestion des risques et de contrôle du CNRC. |
Faible | La mise en œuvre est recommandée dans un délai d'un an pour adopter des pratiques exemplaires ou renforcer l'intégrité des processus de gouvernance, de gestion des risques et de contrôle du CNRC. |
Recommandation | Plan d'action de la direction | Date de mise en œuvre prévue et personne-ressource responsable du CNRC |
---|---|---|
|
Le plan de la vérification de bénéficiaires sera mise à jour pour inclure le calendrier de chaque phase de l'exercice d'audit du destinataire. En outre, le cadre de vérification de destinataire indiquera explicitement la fréquence et comment les progrès de l'audit, les résultats et les plans d'action de gestion ultérieurs seront exposés aux parties prenantes et suivis.
En collaboration entre le PARI et le SC / DPF, ces améliorations seront en place pour la prochaine série de vérification de bénéficiaires. |
Date : Mars 31, 2019 Personne-ressource : VP. PARI |
|
Le cadre de vérification de destinataire sera révisé afin de clarifier l'intention et les conclusions attendues de la vérification de destinataire. Ces améliorations seront en place pour la prochaine série de vérifications de bénéficiaires. Pour éviter tout malentendu, le PARI communiquera clairement les résultats des vérifications en cours. |
Date : Mars 31, 2019 Personne-ressource : VP. PARI |
|
Pour veiller à ce que les responsabilités en matière de vérification de bénéficiaires soient remplies en temps voulu, le PARI, en consultation avec le vice-président, SC & DPF, passera en revue les rôles et les responsabilités. PARI et vice-président, SC & DPF affecteront les ressources nécessaires pour respecter les engagements du cadre de vérification des bénéficiaires. Ces améliorations seront en place pour la prochaine série de vérifications de bénéficiaires. |
Date : Mars 31, 2019 Personne-ressource : VP. PARI |