Évaluation par les pairs pour le programme de bourses postdoctorales de recherche du Canada
Titre
Bienvenue dans le module d'apprentissage pour les pairs évaluateurs du programme de bourses postdoctorales de recherche du Canada.
Le module concerne spécifiquement les demandes de financement présentées aux IRSC et vise à familiariser les évaluateurs avec les tenants et les aboutissants du programme, ce qui les aidera à bien se préparer au processus d'évaluation par les pairs.
Boutons de la barre de lecture
Ce cours est conçu pour être suivi de manière autonome.
Utilisez la barre de lecture ci-dessous pour reprendre la lecture, passer d'une diapositive à l'autre, couper ou rétablir le son et activer les sous-titres codés. Vous pouvez également consulter la table des matières et réduire ou déplacer la barre de lecture.
Objectifs
À l'issue de ce module, vous saurez :
- décrire les caractéristiques principales du programme de BPRC;
- appliquer les critères de sélection des demandes en tenant compte de considérations importantes;
- utiliser l'échelle de cotation et rédiger une évaluation de qualité;
- résumer les étapes du processus d'évaluation par les pairs du programme.
Objectif 1 : Programme de BPRC
La section qui suit décrit le programme de BPRC et les critères d'admissibilité des candidats.
Caractéristiques du programme
Le programme de BPRC des IRSC vise à appuyer des talents du Canada et de l'étranger dans tous les domaines de la recherche en santé. Il permet à des chercheurs au postdoctorat ou détenant un diplôme professionnel d'études supérieures dans le domaine de la santé d'enrichir leur expérience et facilite leur transition vers la prochaine étape de leur carrière.
Les bourses ont chacune une valeur de 70 000 $ et sont accordées pendant deux ans.
Admissibilité des candidats
Les candidats au programme de BPRC doivent détenir ou être sur le point de détenir un doctorat ou un diplôme professionnel de la santé avant la date de début de la bourse. Il leur est également imposé d'avoir satisfait à toutes les exigences de leur doctorat ou diplôme professionnel de la santé dans les trois ans qui précèdent le 1er septembre de l'année de présentation de la demande. Enfin, ils ne peuvent pas être membres d'un corps professoral, être en voie de titularisation ou être en congé d'un tel poste.
Les critères d'admissibilité sont énumérés sur la page consacrée au programme de BPRC.
En amont du processus d'évaluation par les pairs, les IRSC auront filtré les demandes non conformes aux critères d'admissibilité. Toutefois, s'ils remarquent qu'une demande qui aurait dû être rejetée a été glissée dans le concours, les évaluateurs sont priés de l'écarter et de la signaler aux représentants des IRSC.
Formats acceptés pour les demandes
Afin de garantir que tous les candidats disposent exactement du même espace pour présenter leur demande, des directives de mise en forme sont imposées, notamment en ce qui a trait à la taille de la police, aux espacements et aux limites de pages.
Au même titre que les critères d'admissibilité, la vérification du respect de ces directives ne relève pas de la responsabilité des évaluateurs. S'ils constatent une transgression dans une demande qui leur est confiée, ils sont malgré tout invités à en faire part aux représentants des IRSC dans les plus brefs délais.
Une liste exhaustive des directives est offerte sur la page Web Formats acceptés pour les demandes et les PDF en pièces jointes.
Objectif 2 : Critères de sélection et considérations importantes
La section qui suit est consacrée aux critères de sélection et aux considérations qui entrent en ligne de compte dans l'évaluation des demandes présentées aux concours du programme de BPRC.
Assignation des demandes
La principale mission des évaluateurs est de mesurer le potentiel en recherche des candidats et la qualité de la formation proposée.
Il leur est demandé d'appliquer leurs connaissances spécialisées de façon générale au vaste éventail de demandes qui leur sont confiées. Il n'est donc pas essentiel que leur expertise corresponde directement au domaine de recherche visé par une demande.
Au moment de procéder à l'évaluation d'une demande, il leur incombe de se conformer aux principes de l'évaluation par les pairs des IRSC : la confidentialité, l'absence de conflits d'intérêts, l'équité et la transparence.
Critères de sélection
L'évaluation d'une demande devrait reposer sur les critères suivants : expérience et potentiel en recherche (50 %) et qualité du programme de recherche proposé (50 %).
Les diapositives qui suivent porteront sur les critères de sélection qui s'affichent à l'écran.
D'autres renseignements sur le sujet figurent à l'Annexe A du Guide de l'évaluateur pour le programme de BPRC.
Expérience et potentiel en recherche
Le premier critère de sélection, « Expérience et potentiel en recherche », concerne l'adéquation de la proposition de recherche avec l'expérience et le potentiel en recherche du candidat.
Il comprend trois sous-critères : prix, bourses et distinctions universitaires; contributions et activités liées à la recherche; évaluation des caractéristiques et aptitudes par les répondants.
Les prix, bourses et distinctions universitaires des candidats sont énoncés dans les sections « Marques de reconnaissance » et « Historique du financement de la recherche » du CV commun du candidat.
Les contributions et activités liées à la recherche y sont également énumérées, dans les sections « Activités », « Contributions » et « Contributions les plus importantes » ainsi que dans le document « Circonstances spéciales ».
Les formulaires d'évaluation remplis par les répondants offrent pour leur part des renseignements sur les caractéristiques et les aptitudes des candidats. Soulignons que les commentaires qu'ils contiennent sont généralement positifs et que les candidats n'ont pas la possibilité de justifier leur choix de répondants dans leur demande.
Qualité du programme de recherche proposé
Le deuxième critère de sélection, « Qualité du programme de recherche proposé », porte sur le résumé de recherche et sur l'adéquation de la proposition de recherche avec la formation du candidat et l'environnement de recherche.
Il comprend lui aussi trois sous-critères : attentes en matière de formation; projet de recherche proposé; milieu de formation en recherche.
Les attentes en matière de formation sont exprimées dans la section du même nom. Le projet de recherche proposé est pour sa part présenté dans la section « Résumé du projet de recherche », tandis que le milieu de formation en recherche est décrit dans un document distinct.
Élargir l'évaluation des contributions à la recherche et des retombées
Les IRSC sont signataires de la Déclaration de San Francisco sur l'évaluation de la recherche (DORA), qui souligne la nécessité d'améliorer la façon dont les résultats de la recherche sont évalués. Lorsqu'ils évaluent les demandes, les pairs évaluateurs sont ainsi invités à ratisser large et à ne pas se limiter aux indicateurs traditionnels de productivité.
Pour mesurer la productivité des candidats dans le respect des principes de la DORA, il convient d'appliquer les recommandations suivantes :
- Fournir des commentaires sur les contributions à la recherche et les retombées.
- Tenir compte de la situation du candidat et de son incidence possible sur sa productivité, comme son historique de congé et son stade de carrière, ses domaines de recherche et ses acquis expérientiels, son cheminement de carrière, ses responsabilités familiales ou encore les répercussions de la pandémie.
- Ne pas s'appuyer uniquement sur des indicateurs comme l'indice h ou les facteurs d'impact et considérer la qualité des contributions et de leurs retombées.
Des outils de perfectionnement des compétences sont accessibles en ligne pour mettre en pratique les principes de la DORA dans les évaluations.
Évaluation de l'intégration du sexe et du genre
Au moment de procéder à l'évaluation d'une demande, une attention particulière doit être accordée à l'intégration du sexe et du genre aux projets proposés.
Explorez les ressources qui s'affichent à l'écran pour vous familiariser avec les questions de sexe et de genre dans la recherche en santé. Tous les liens s'ouvriront dans une nouvelle fenêtre, ce qui vous permettra de retourner au module lorsque vous le souhaiterez.
Question 1
Mettez vos connaissances à l'épreuve! N'hésitez pas à vous appuyer sur l'Annexe A du Guide de l'évaluateur pour le programme de BPRC.
Dans la demande que vous évaluez, le candidat justifie son choix d'établissement de formation et explique ce qu'il prévoit y apprendre. À quel sous-critère de la qualité du programme de recherche proposé se rattache cette information?
- Contributions et activités liées à la recherche
- Attentes en matière de formation
- Projet de recherche proposé
- Ou Milieu de formation en recherche.
Question 2
Parmi les éléments suivants, lequel n'entre pas en ligne de compte dans l'évaluation des contributions et des activités liées à la recherche?
- Preuves de contributions percutantes à la recherche
- Pourcentage estimatif de la contribution du candidat aux travaux
- Publications marquées comme soumises
- Ou Autres activités professionnelles
Objectif 3 : Échelle de cotation et rédaction d'une évaluation de qualité
La section qui suit concerne l'échelle de cotation et la réalisation d'une évaluation de qualité.
Échelle de cotation – demandes admissibles à un financement
Les évaluateurs sont tenus d'évaluer chaque demande selon l'information fournie et ne doivent pas chercher à obtenir des renseignements supplémentaires ou des opinions de l'extérieur pour compléter leurs évaluations.
Ils doivent accorder une cote sur une échelle de 0,0 à 4,9 pour chaque critère de sélection. Le calcul de la cote globale de chaque demande évaluée dans RechercheNet repose sur la pondération automatique des différentes cotes attribuées.
Seules les demandes affichant une cote globale de 3,5 ou plus sont admissibles à un financement. Elles sont classées dans trois catégories :
Les demandes dont la cote est située entre 4,5 et 4,9 font preuve d'excellence à l'égard de la plupart ou de la totalité des aspects. Ces demandes ne présentent que des lacunes minimes.
Les demandes dont la cote est située entre 4,0 et 4,4 font preuve d'excellence à l'égard d'une bonne partie des aspects pertinents et se révèlent acceptables à l'égard de tous les autres. Pour ces demandes, des améliorations sont possibles.
Les demandes dont la cote est située entre 3,5 et 3,9 font preuve d'excellence à l'égard de quelques aspects pertinents et se révèlent acceptables à l'égard de tous les autres. Pour ces demandes, des améliorations s'imposent.
Échelle de cotation – demandes non admissibles à un financement
Les demandes affichant une cote globale de 3,4 ou moins ne sont pas admissibles à un financement. Elles sont classées dans deux catégories :
Les demandes dont la cote est située entre 3,0 et 3,4 traitent des aspects pertinents d'une manière générale. Pour ces demandes, des améliorations importantes s'imposent.
Les demandes dont la cote est située entre 0,0 et 2,9 ne présentent pas d'arguments suffisamment convaincants ou comportent des lacunes ou des failles importantes.
L'échelle au complet doit être utilisée dans l'évaluation des demandes.
Qualité des évaluations
Pour chaque demande, les évaluateurs doivent rédiger une courte évaluation mettant en lumière ses forces et ses faiblesses par rapport à chaque critère de sélection pour justifier les cotes attribuées. Ils sont priés de tenir compte des critères de qualité des évaluations suivants :
- Caractère approprié – Les commentaires sont justes, compréhensibles, confidentiels et respectueux.
- Rigueur – L'évaluation est exhaustive, complète et crédible.
- Utilité – Les commentaires de l'évaluation répondent aux besoins des évaluateurs, des candidats et des bailleurs de fonds.
Les IRSC ont élaboré un aide-mémoire dont les évaluateurs peuvent se servir pour appliquer les critères de qualité des évaluations aux demandes qui leur sont confiées. Le module d'apprentissage « Effectuer des évaluations de qualité » doit également être suivi.
Rédaction d'une évaluation
Les évaluateurs sont invités à suivre les recommandations suivantes au moment de rédiger leurs évaluations :
- Utiliser les descripteurs de l'échelle de cotation des IRSC qui correspondent à la cote attribuée.
- Justifier et mettre en contexte chaque commentaire dans un souci de clarté et de cohérence.
- Tenir compte d'une vaste gamme de contributions et de retombées et concilier l'usage d'indicateurs quantitatifs et d'éléments qualitatifs pour démontrer le caractère exhaustif de l'évaluation.
- Privilégier la simplicité par l'emploi d'un langage clair et précis.
- Éviter tout propos sarcastique, irrévérencieux, tendancieux ou teinté d'arrogance afin de produire une évaluation professionnelle et objective.
- Employer « la personne candidate » plutôt que les pronoms personnels « il » ou « elle ».
Des outils de perfectionnement des compétences sont accessibles en ligne pour aider les évaluateurs à améliorer la qualité de leurs évaluations.
Intelligence artificielle et évaluation des demandes de bourses
Les IRSC ont édicté des directives sur le recours à l'intelligence artificielle dans l'évaluation par les pairs que les évaluateurs doivent garder à l'esprit.
L'essor de puissants outils d'IA ne dispense aucunement ces derniers à lire les demandes qui leur sont attribuées et à rédiger des évaluations justes et rigoureuses dans leurs propres mots. Le fait de saisir des renseignements sur les demandes dans des plateformes d'intelligence artificielle générative comme ChatGPT ou DeepL porte atteinte à la vie privée et entraîne une perte de propriété intellectuelle, les données saisies étant susceptibles d'être stockées et réutilisées par ces plateformes.
De ce fait, l'utilisation d'outils d'IA générative accessibles au public dans l'évaluation des demandes est strictement interdite, et les évaluateurs devront accepter de se conformer aux Lignes directrices sur l'utilisation de l'intelligence artificielle dans l'élaboration et l'évaluation des propositions de recherche dans RechercheNet.
Question 3
Vrai ou faux? Pour assurer le traitement équitable de toutes les demandes, les évaluateurs ne doivent pas chercher à obtenir des renseignements supplémentaires sur une demande en plus d'en évaluer le contenu.
Question 4
Oui ou non? L'évaluation d'une demande vous donne du fil à retordre, notamment pour fournir votre rétroaction au candidat. Vous décidez alors de tirer parti de ChatGPT pour écrire vos commentaires ainsi que pour comparer plusieurs sections de la proposition de recherche avec des projets existants. Est-ce acceptable?
Objectif 4 : Processus d'évaluation
La section qui suit concerne le processus d'évaluation du programme de BPRC.
Processus d'évaluation par les pairs visant le programme de BPRC
Les étapes suivantes du processus d'évaluation par les pairs seront présentées :
- Assignation des demandes aux comités
- Déclaration des conflits d'intérêts et confirmation de la capacité d'évaluer
- Évaluation des demandes assignées
- Soumission des évaluations et des cotes
- Réévaluation de certaines demandes, au besoin
Assignation des demandes aux comités
Les demandes sont assignées à un comité sur la base du domaine scientifique indiqué par les candidats et qui s'aligne avec les activités de recherche proposées. Chaque demande sera assignée à trois évaluateurs au sein de ce comité.
L'évaluation du potentiel des candidats à titre de chercheurs indépendants en recherche biomédicale ou clinique incombe au Comité A.
L'évaluation du potentiel des candidats à titre de chercheurs indépendants en recherche sur les services de santé ou en recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations incombe au comité B.
La page Comités d'évaluation par les pairs et mandats offre de plus amples renseignements sur les deux comités.
Identifier les conflits d'intérêts
Avant de procéder à l'évaluation des demandes qui leur sont confiées dans RechercheNet, les évaluateurs sont tenus d'accepter l'Accord sur les conflits d'intérêts et la confidentialité ainsi que l'Avis de confidentialité, qui comprend la version enrichie du formulaire de déclaration volontaire sur l'équité, la diversité et l'inclusion. Cette étape permet aux IRSC de mesurer la diversité des profils des évaluateurs.
Le formulaire est accompagné d'un avis de confidentialité, qui décrit l'objectif poursuivi par les IRSC ainsi que les utilisations prévues des données de déclaration volontaire.
Une fois cette étape initiale terminée, les évaluateurs peuvent accéder aux demandes qui leur sont assignées en cliquant sur la tâche « Gérer les conflits/Capacité d'examiner », puis les sélectionner une par une en cliquant sur leur numéro en hyperlien.
Ils doivent alors consulter des renseignements pertinents sur chacune des demandes afin de déterminer si leur évaluation les place en conflit d'intérêts et, le cas échéant, ont la responsabilité de le signaler.
Effectuer des évaluations
Après s'être assurés de bien connaître les critères de sélection du programme de BPRC, les évaluateurs peuvent commencer leurs évaluations en cliquant sur la tâche « Effectuer des évaluations », puis en cliquant sur leur numéro en hyperlien.
Sur la nouvelle page, ils doivent inscrire leur cote numérique, la justifier et rédiger des commentaires qui décrivent les forces et les faiblesses de la demande évaluée par rapport à chaque critère de sélection. Il est recommandé d'utiliser ces critères comme titres de sections pour structurer les commentaires.
Les rétroactions écrites visent à dispenser des conseils avisés aux candidats pour les aider à améliorer la qualité de leurs futures demandes ou à mener à bien leurs travaux.
RechercheNet ayant tendance à se déconnecter souvent, les évaluateurs sont incités à enregistrer fréquemment leur travail en cliquant sur « Sauvegarder l'ébauche » ou à faire un copier-coller de leurs évaluations depuis un logiciel de traitement de texte.
Soumission des évaluations
Lorsque leurs évaluations sont prêtes à être soumises, les évaluateurs doivent les sélectionner, puis cliquer sur « Soumettre les évaluations sélectionnées ». À ce stade, plus aucune modification n'est possible.
Il est prépondérant que les évaluateurs soumettent leurs évaluations et leurs cotes au plus tard à la date convenue avec les représentants des IRSC. Si un évaluateur estime qu'il ne sera pas en mesure de respecter l'échéance fixée, il est prié d'en informer les représentants des IRSC dans les plus brefs délais.
Une fois toutes les évaluations soumises, un calcul est effectué pour repérer les demandes ayant obtenu des cotes présentant une grande divergence. Les évaluateurs des demandes concernées doivent alors en discuter afin de rapprocher leurs cotes.
Dans ce cas de figure, les évaluateurs reçoivent par courriel une demande de participation à la réévaluation d'une demande accompagnée des coordonnées des autres évaluateurs. Leur accès à cette demande sera alors réactivé dans RechercheNet.
L'objet de la démarche est de permettre aux trois évaluateurs de prendre connaissance des points de vue de leurs collègues et d'en tenir compte. Au terme de la discussion, les évaluateurs ne sont pas dans l'obligation de modifier leur cote, mais doivent néanmoins soumettre leur nouvelle évaluation.
Après la soumission de l'ensemble des évaluations, une cote finale est accordée, fondée sur la moyenne de toutes les cotes.
Par la suite, un classement des demandes évaluées par chaque comité est établi.
Les recommandations de financement suivent le rang occupé par les demandes dans le classement, jusqu'à épuisement du budget.
Résumé
Félicitations! Vous avez terminé le module d'apprentissage destiné aux pairs évaluateurs du programme de BPRC.
Vous devriez désormais être en mesure de décrire les caractéristiques principales du programme de BPRC, d'appliquer les critères de sélection des demandes en tenant compte de considérations importantes, d'utiliser l'échelle de cotation et de rédiger une évaluation de qualité, et de résumer les étapes du processus d'évaluation par les pairs du programme.
Sondage
Avant d'explorer les ressources complémentaires, nous vous invitons à répondre à notre sondage afin de faciliter le suivi mis en place par les IRSC et d'améliorer la qualité de l'apprentissage. Le sondage s'ouvrira dans une nouvelle fenêtre.
Autres ressources
Pour accéder aux ressources complémentaires pour les pairs évaluateurs du programme de BPRC, cliquez tout simplement sur les liens qui s'affichent à l'écran.
- Date de modification :