Concours de subventions Projet
Partie 2 : Vue d'ensemble du processus d'évaluation par les pairs

Titre

Bienvenue à la partie 2 : Vue d'ensemble du processus d'évaluation par les pairs qui s'inscrit dans la série de modules d'apprentissage sur le concours de subventions Projet. Dans ce module, les évaluateurs exploreront les activités d'évaluation des demandes de subventions Projet afin d'être bien préparés et de participer efficacement au processus d'évaluation par les pairs.

Boutons de la barre de lecture

Ce cours est conçu pour être suivi de manière autonome.

Utilisez la barre de lecture ci-dessous pour reprendre la lecture, passer d'une diapositive à l'autre, couper ou rétablir le son et activer les sous-titres codés. Vous pouvez également consulter la table des matières et réduire ou déplacer la barre de lecture.

Programme de subventions Projet

Le programme de subventions Projet est ouvert aux candidats de tout domaine de la recherche en santé dont les travaux cadrent avec le mandat des IRSC, à savoir : « exceller, selon les normes internationales reconnues de l'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé, et de renforcer le système de santé ».

Programme de subventions Projet 2

L'objectif du programme est de faire valoir les idées susceptibles de faire progresser à grands pas les connaissances fondamentales ou appliquées en santé, le système de soins de santé et les résultats sur la santé en appuyant des projets ayant une fin précise et un but clairement défini. Les meilleures idées peuvent découler de pistes de recherche ou d'approches d'application des connaissances inédites, progressives, novatrices ou à risque élevé.

Programme de subventions Projet 3

Les demandes présentées à un concours de subventions Projet sont soumises à un processus d'évaluation par les pairs en comité, en une seule étape. Ce processus repose sur l'examen, par un groupe d'évaluateurs disposant de l'expérience et de l'expertise requises, de la qualité et des retombées potentielles des projets de recherche et des activités liées à la recherche au regard des objectifs du programme. Ces évaluateurs sont regroupés en comités en fonction de la nature de leur expertise et du sujet des demandes présentées.

Responsabilités des comités d'évaluation par les pairs

Les responsabilités des comités d'évaluation par les pairs sont les suivantes :

• évaluer les demandes selon les critères de sélection et le guide d'interprétation;
• fournir une évaluation écrite pour chacune d'entre elles;
• discuter des demandes lors des réunions de comité;
• attribuer une cote consensuelle à chaque demande;
• recommander un budget et un échéancier en prévision du financement de la recherche proposée si la demande est approuvée.

Attribution des demandes

Dans la section qui suit, les évaluateurs découvriront le processus d'attribution des demandes dans le cadre d'un concours de subventions Projet.

Attribution des demandes 2

Pour participer à un concours de subventions Projet, les candidats doivent tout d'abord s'y inscrire, puis présenter une demande détaillée. Dans RechercheNet, il leur est demandé d'indiquer le ou les deux comités d'évaluation par les pairs qu'ils jugent les plus pertinents en justifiant leur sélection.

Une fois les inscriptions validées, les présidents, les agents scientifiques et les représentants des IRSC examinent les projets qui sont attribués à leur comité. Ensemble, ils s'assurent que le comité possède les compétences requises pour évaluer les projets dont ils consentent l'assignation et assument la responsabilité de veiller à ce que leur évaluation soit juste.

Il peut arriver qu'un projet ne cadre pas avec le mandat d'un comité et doive être réassigné. Dans ce cas de figure, les IRSC prendront la décision définitive quant au choix du comité d'évaluation par les pairs pour chaque projet en s'appuyant sur le résumé de recherche présenté à l'étape de l'inscription.

Une fois la liste des demandes détaillées compilée, les membres des comités obtiennent l'accès aux résumés des demandes, déclarent tout conflit d'intérêts et précisent leur niveau d'expertise (élevée, moyenne, faible ou insuffisante).

Remarque : Un évaluateur n'est pas automatiquement en conflit d'intérêts s'il est affilié au même établissement qu'un candidat, mais ne le connaît pas et ne travaille pas avec lui.

Attribution des demandes 3

Les présidents, les agents scientifiques et les représentants des IRSC assignent ensuite les demandes à trois membres des comités en veillant au meilleur appariement possible entre le contenu de la demande et l'expertise des évaluateurs.

Il est possible qu'après avoir obtenu l'accès aux demandes détaillées, un évaluateur se rende compte que son expertise ne lui permet pas d'évaluer une ou plusieurs demandes qui lui ont été assignées. Il devra alors communiquer sans délai avec les IRSC pour que les demandes concernées puissent être réassignées de façon adéquate.

En amont de la réunion du comité, tous les membres, à l'exception des évaluateurs externes, obtiennent l'accès aux demandes détaillées attribuées à leur comité.

Bien qu'aucune limite ne soit imposée quant au nombre de fois qu'une demande peut être soumise à un concours de subventions Projet, les évaluations respectent toujours les critères d'évaluation établis. Ces derniers étant susceptibles de varier d'un concours à l'autre, les évaluateurs reçoivent l'instruction de traiter toutes les demandes, y compris celles qui sont présentées de nouveau, comme de nouvelles demandes.

Évaluation des demandes

La section qui suit sera consacrée au processus d'évaluation des demandes dans le cadre du concours de subventions Projet.

Principes de l'évaluation par les pairs

L'intégrité du processus d'évaluation par les pairs repose sur des principes et des politiques bien établis qui visent à assurer l'équité et l'efficacité de l'évaluation et à appuyer la réalisation du mandat et des objectifs des IRSC.

Les principes d'évaluation des IRSC sont la confidentialité, l'absence de conflits d'intérêts, l'équité et la transparence.

Principes de l'évaluation par les pairs

Si l'intégration des principes d'évaluation est une composante importante du système d'évaluation par les pairs, son succès dépend avant tout de la volonté et de la capacité de tous les évaluateurs de faire preuve d'un jugement scientifique rigoureux, d'être justes et raisonnables, et de comprendre et de soupeser adéquatement le contexte particulier de chaque demande.

Les évaluateurs sont tenus de rédiger leurs commentaires dans leurs propres mots. Ils ne doivent donc pas reprendre le contenu d'une autre source, comme les commentaires qu'ils ont formulés lors d'une évaluation antérieure ou ceux qui ont été écrits par un autre évaluateur ou générés par un outil d'intelligence artificielle (ce qui constituerait par ailleurs un manquement au devoir de confidentialité).

Une évaluation constructive, de qualité et qui souligne les forces du candidat ainsi que les lacunes qu'il doit corriger en prévision d'une prochaine demande dénote que la proposition de recherche a été appréciée à sa juste valeur.

Élargir l'évaluation des contributions à la recherche et des retombées

La Déclaration de San Francisco sur l'évaluation de la recherche (DORA) souligne la nécessité d'améliorer la façon dont les résultats de la recherche sont évalués. Il est essentiel que les pairs évaluateurs ratissent large lorsqu'ils évaluent les contributions à la recherche et les retombées, sans se limiter aux indicateurs traditionnels de productivité. À titre d'exemple, plutôt que d'utiliser des indicateurs comme l'indice h, les évaluateurs sont incités à tenir compte de la situation du candidat et à examiner la qualité de ses travaux et leurs retombées directement. Certains indicateurs généralement reconnus et d'autres types de contributions précieuses s'affichent à l'écran. N'hésitez pas à consulter notre site Web pour découvrir d'autres façons d'élargir l'évaluation des contributions à la recherche et des retombées.

Résumé des progrès

L'un des premiers documents à consulter dans les demandes à évaluer est le résumé des progrès réalisés. Sa présentation est obligatoire dans toute demande. Il permet aux candidats principaux désignés d'expliquer la pertinence de leur projet.

Dans ce document d'au plus deux pages, les candidats doivent :

• Présenter et contextualiser les activités, les contributions et les retombées qui étayent la proposition;
• Décrire comment celle-ci s'inscrit dans leur programme de recherche global et pourquoi les fonds demandés sont nécessaires. Les candidats doivent exposer clairement dans quelle mesure le budget demandé se distingue des fonds actuellement détenus ou comment la demande de fonds diffère de celles soumises auprès d'autres organismes de financement (subventions en attente).
• Décrire, à leur discrétion et s'ils le jugent pertinent, l'incidence de facteurs précis sur l'avancement de leurs travaux de recherche (comme leur historique de congé, leur stade de carrière, les répercussions de la pandémie, leurs responsabilités familiales ou autres).
• Rédiger le résumé des progrès et du financement sous la forme d'un exposé (et non d'un compte rendu détaillé), sachant que des renseignements sur le financement figurent déjà dans le CV du candidat.

Demandes présentées de nouveau

Les candidats qui présentent une demande qui n'a pas été retenue à l'issue d'un concours de subventions Projet antérieur doivent en faire état. Cette information sera affichée dans la version de la demande en format PDF destinée à l'évaluation par les pairs.

Les évaluateurs ont la responsabilité de traiter toutes les demandes, y compris celles présentées de nouveau, comme de nouvelles demandes afin de veiller à ce qu'elles soient évaluées les unes par rapport aux autres.

Pour plus d'informations à cet égard, veuillez consulter la page Demandes présentées de nouveau.

Réponse aux commentaires d'évaluations antérieures

Les candidats qui soumettent de nouveau une demande qui n'a pas été retenue lors d'un précédent concours ont la possibilité d'apporter une réponse aux commentaires des évaluations antérieures. Dans leur réponse, ils doivent alors joindre le document « Évaluations antérieures », qui regroupe toutes les évaluations et toutes les notes de l'agent scientifique (le cas échéant) reçues lors de la soumission de leur dernière demande.

Cette tâche demeure facultative et diffère de la question sur la présentation d'une nouvelle demande. À noter que les évaluateurs ne pourront consulter le document « Réponse aux évaluations antérieures » qu'à condition que la pièce jointe « Évaluations antérieures » ait également été fournie.

Le CV Profil du candidat

Les candidats universitaires, indépendamment de leur rôle dans la demande, doivent tous continuer d'utiliser le CV abrégé des IRSC. Les candidats non universitaires, les organisations autochtones, les utilisateurs des connaissances et les candidats étrangers sont pour leur part invités à téléverser, au choix, le CV abrégé des IRSC ou le CV Profil du candidat à la section « Information sur le participant » dans RechercheNet. Le CV Profil du candidat ne peut dépasser trois pages, mais aucune restriction ne s'applique à ses différentes sections, ce qui signifie que les candidats sont libres de choisir les points sur lesquels ils souhaitent mettre l'accent. Il est par ailleurs possible que certaines sections ne s'appliquent pas aux candidats non universitaires.

Les évaluateurs sont tenus d'examiner le CV des candidats ainsi que les renseignements fournis à la sous-tâche « Contributions les plus importantes » afin de juger de la pertinence de la combinaison d'expertise, d'expérience et de ressources dont dispose l'équipe du projet pour atteindre collectivement les objectifs fixés. Ils doivent également mesurer la productivité de façon générale en tenant compte de toute une gamme de contributions et de retombées ainsi que de la situation des candidats et de son incidence sur leur parcours.

Autres documents relatifs à la demande

Les évaluateurs doivent lire tous les documents annexés à la tâche « Joindre d'autres documents relatifs à la demande ».

Les pièces jointes obligatoires comprennent :

• Le certificat de formation en analyse comparative entre les sexes et les genres;
• Une lettre d'appui du doyen de la faculté indiquant la date prévue d'entrée en vigueur de la nomination du candidat principal désigné, si ce dernier attend une confirmation de poste. À noter que cette date ne peut être ultérieure à celle du début de la période de financement.
• Une lettre de l'employeur d'un chercheur étranger attestant que ce dernier ne sera pas rémunéré pour le temps consacré aux activités de recherche visées par la demande, si le salaire de ce chercheur est censé provenir de la subvention.
• Des lettres d'appui de partenaires communautaires autochtones, si la proposition est liée à la recherche sur la santé des Autochtones.

Si une demande contient des pièces jointes inadmissibles, les représentants des IRSC doivent en être avisés dans les plus brefs délais. Pour plus d'informations sur les pièces jointes obligatoires, facultatives ou qui ne sont plus acceptées, veuillez consulter la tâche 8 des instructions pour la présentation d'une demande au titre du concours de subventions Projet.

Évaluation des demandes

Chaque demande est assignée à trois évaluateurs. Si les candidats sont libres de structurer leur proposition de recherche comme ils le souhaitent, les évaluateurs doivent pour leur part examiner les demandes en se basant sur les critères de sélection établis.

Afin de démontrer leur compréhension des propositions de recherche, les évaluateurs présentent un résumé de chaque demande assignée dans RechercheNet. En amont de la réunion de leur comité d'évaluation par les pairs, ils y saisissent également leur cote initiale globale à une décimale. À noter qu'ils ne sont pas obligés de s'y tenir et qu'ils peuvent modifier leur cote lors de la réunion du comité.

Les évaluateurs indiquent ensuite s'ils rangent chacune des demandes assignées sous leur forme actuelle dans leur groupe supérieur (demandes concurrentielles) ou inférieur (demandes non concurrentielles).

L'analyse comparative entre les sexes et les genres doit être évaluée dans la section consacrée aux forces et aux faiblesses des demandes et être prise en compte dans l'attribution de la cote initiale globale.

Les évaluateurs doivent faire état des forces et des faiblesses des demandes en fonction des critères d'évaluation.

Enfin, ils sont tenus de vérifier le budget demandé et la justification afférente. Ils peuvent recommander que ce budget reste inchangé ou qu'il soit réduit. Les recommandations de modification du budget doivent être justifiées et doivent préciser le poste budgétaire et le montant visés.

Pour en savoir plus, veuillez consulter la section « Effectuer les évaluations du Guide d'évaluation par les pairs ».

Directives de mise en page des pièces jointes rédigées par les candidats

Bien que les IRSC aient simplifié les exigences relatives à la mise en forme des pièces jointes aux demandes, toutes celles qui sont produites par les candidats doivent être rédigées avec une police Times New Roman de 12 points et de couleur noire. D'autres polices et tailles de police sont toutefois autorisées pour le texte qui figure dans les tableaux, les diagrammes, les illustrations, les graphiques et les légendes, pourvu qu'il soit lisible lorsque l'affichage de la page est réglé à 100 %. Dans le cas contraire, les évaluateurs sont libres de les ignorer.

Les évaluateurs qui se voient confier une demande ne respectant pas les directives sont invités à en faire part aux représentants des IRSC dans les plus brefs délais.

Remise des évaluations

La date limite de téléversement des évaluations dans RechercheNet, y compris des évaluations de la qualité globale (groupes supérieur et inférieur), des cotes initiales et des recommandations budgétaires initiales, est de 5 jours ouvrables avant la date de la réunion du comité. Une fois leurs évaluations soumises, les évaluateurs peuvent consulter celles de leurs pairs chargés des mêmes demandes et ont accès à l'ensemble des demandes pour lesquelles ils ne sont pas en conflit d'intérêts afin de se préparer à la réunion d'évaluation par les pairs.

Une fois soumises, les évaluations ne peuvent pas être modifiées avant la réunion. Les évaluateurs qui le souhaitent peuvent les ajuster pendant la réunion, ou disposent de 5 jours ouvrables après celle-ci pour le faire dans RechercheNet.

RechercheNet ayant tendance à se déconnecter souvent, les évaluateurs sont incités à enregistrer fréquemment leur travail ou à faire un copier-coller de leurs évaluations depuis un logiciel de traitement de texte.

Pendant la réunion

La section qui suit porte sur le déroulement d'une réunion du comité d'évaluation par les pairs.

Rationalisation des demandes

Dans le contexte du concours de subventions Projet, seule une fraction des demandes présentées est financée. Afin d'assurer la justesse de l'évaluation comparative, il est donc primordial que les membres du comité puissent centrer leurs discussions sur les demandes les plus concurrentielles, raison pour laquelle un processus de rationalisation s'applique.

Dans le cadre de ce processus, les demandes qui répondent aux conditions de rationalisation sont éliminées de la discussion, ce qui permet aux membres du comité de consacrer un maximum de temps à juger et à classer les demandes susceptibles d'être retenues. Les candidats dont la proposition a fait l'objet d'une rationalisation tirent tout de même parti du processus d'évaluation puisqu'ils reçoivent les évaluations écrites des évaluateurs désignés (mais pas les notes détaillées de l'agent scientifique).

Il convient de noter que le processus de rationalisation ne s'applique pas aux demandes qui sont assignées à moins de trois évaluateurs. Celles qui peuvent en faire l'objet sont repérées avant et pendant la réunion.

Une demande est écartée par rationalisation si :

1. La moyenne des cotes initiales des évaluateurs la place parmi les 60 % des demandes les moins bien classées à l'échelle du comité;
2. Au moins un évaluateur l'a placée dans son groupe inférieur (demandes non concurrentielles);
3. Aucun membre du comité ne s'oppose à sa rationalisation.

Discussion du comité

L'évaluation des demandes commence avec l'annonce, par les évaluateurs désignés, de leurs cotes initiales à une décimale qui peuvent être révisées à la lumière de la discussion antérieure du comité. Ils sont encouragés à formuler leurs commentaires de manière épicène et inclusive pendant la présentation de leurs évaluations et lors des discussions. Si une demande n'est pas écartée par rationalisation, son évaluation se poursuit comme suit :

• Le premier évaluateur offre un aperçu de la proposition et présente son analyse de ses forces et de ses faiblesses, y compris de la façon dont le candidat a tenu compte des considérations relatives au sexe et au genre.
• Les deux autres évaluateurs s'attardent sur les points où ils sont en accord ou en désaccord et discutent de ceux qui n'ont pas encore été abordés.
• Si des évaluateurs externes ont fourni des rapports d'évaluation, l'un des trois évaluateurs lit les évaluations.
• Le président ouvre la discussion à tous les membres du comité.
• L'agent scientifique relit ses notes en relevant les principaux éléments de la discussion à prendre en considération pour coter la demande.
• Le président cherche à obtenir une « cote consensuelle » des trois évaluateurs. En l'absence de consensus, le président détermine la cote consensuelle, qui est généralement la valeur moyenne des cotes des évaluateurs après la discussion du comité.
• Tous les membres du comité qui ne sont pas en conflit d'intérêts, exception faite du président et de l'agent scientifique, votent pour établir la cote finale de chaque demande (à +/- 0,5 point de la cote consensuelle).
• Les IRSC demandent aux évaluateurs de formuler une recommandation quant au budget et à l'échéancier proposés. Si une réduction du budget est recommandée, les postes visés, les motifs de la réduction et son montant doivent être précisés.

Après la réunion

Dans la section qui suit, les évaluateurs découvriront l'étape qui suit la réunion du comité d'évaluation par les pairs.

Après la réunion 2

Au terme de la réunion du comité, les IRSC rassemblent, pour toutes les demandes ayant donné lieu à une discussion, les cotes et les recommandations finales présentées par les membres quant au montant et à la durée du financement. Ces renseignements éclairent les décisions connexes de l'organisme.

Dans un second temps, tous les candidats reçoivent un avis de recommandation ainsi qu'une copie de toutes les évaluations; ceux dont la demande a été soumise à une discussion du comité reçoivent aussi les notes de l'agent scientifique. Par la suite, une lettre de décision et un avis de décision sont envoyés. Si leur demande est approuvée, les candidats sont également informés du budget qui leur est accordé.

Les demandes qui font l'objet d'un signalement parce qu'elles nécessitent une attention particulière et un suivi par le personnel des IRSC sont mises « en suspens ». Les candidats sont contactés si de plus amples renseignements sont requis.

Autres ressources

Les ressources affichées à l'écran vous fourniront des renseignements supplémentaires pour vous préparer à l'évaluation des demandes présentées au concours de subventions Projet. Avant de quitter le module, nous vous invitons à répondre à notre sondage afin de faciliter le suivi mis en place par les IRSC et d'améliorer la qualité de l'apprentissage.

Vous pouvez quitter le module et retourner à la page d'apprentissage ou passer au module suivant, qui aborde les critères de sélection et l'échelle de cotation.

Date de modification :

2024-10-03