Tuesday, December 06, 2016

Behind the Scenes at YCW: The Peer Review Committee

Le français suit.

Last year, the CMA received grant requests from over 900 organizations across Canada. All told, these requests represented around 2,000 job openings and almost $11 million in funding. Unfortunately, our budget does not allow us to meet all these requests. That’s why, each year, we follow a rigorous evaluation process which is designed to ensure that each grant-supported job will provide a relevant and enriching work experience for students interested in the heritage and museum field.
Ultimately, choices have to be made. The selection of grants to be approved is made by a peer review committee, which reads all the requests and then gives its funding recommendations. Of course, this does not happen overnight. The entire process takes at least two months from the receipt of requests from organizations to the announcement of funding decisions.

Each year, the CMA issues a general call to recruit professionals in the museum and heritage field who wish to be part of the peer review committee that evaluates YCW requests. Made up of professionals and volunteers from museums across Canada, the committee has around 90 members each year. In order to reflect the highly diverse nature of YCW requests, the peers come from museums both large and small, hold a variety of positions ranging from interpretation to administration to curatorship, and are at different stages of their careers. Some assessors have been with us for many years now. Numerous review committee members also submit requests for YCW funding. The experience therefore provides them with an ideal opportunity to see how requests are assessed—which helps improve their own requests.
On our side, we guarantee the impartiality of peers by ensuring that they only evaluate requests from organizations located in other regions. For example, a peer from British Columbia might evaluate requests from Manitoba. In this way, we make sure there are no conflicts of interest.
The review committee members are given 30 to 50 requests to evaluate over a period of two to three weeks. In the past, documents were sent by mail. Now, however, the process has been speeded up by sending them electronically. Evaluation forms must be returned to us by post, but we ensure that members are compensated for any mailing expenses. This approach enables us to make our decisions as quickly as possible. Once the documents are returned to the CMA, the results are compiled in order to determine the list of organizations that will receive funding.
The peer review committee allows members of the museum community to get involved in training young people who wish to work in the field. The peer-based evaluation approach has also proven highly beneficial for at least two other reasons:
  •  It ensures that the benefits of jobs will be fully appreciated. Since the peers come from the museum community, they are able to draw on their own experience and knowledge to evaluate the value of the proposals.
  • It allows impartial decisions to be made. Each request is read and assessed by three different peers, and funding decisions are made based on the combined data for the three assessors.
The Canadian Museums Association is always seeking new members for the peer review committee. If you are interested in taking part, don’t hesitate to contact the YCW team at the CMA.

Stéphanie Jacques
______________________________________________



L’envers du décor JCT : Le comité d’évaluation par les pairs

L’an passé, l’AMC a reçu des demandes de subventions de la part de plus de 900 organismes de partout au Canada. Mises ensembles, ces demandes représentaient environ 2 000 postes à pourvoir et près de 11 millions de dollars en financement. Malheureusement, notre budget ne permet pas d’accéder à toutes ces demandes. C’est pourquoi, chaque année, nous nous assurons de suivre un rigoureux processus d’évaluation qui a pour but d’assurer que chaque emploi subventionné représente une expérience de travail pertinente et enrichissante pour les étudiants intéressés par le champ patrimonial et muséal.


Inévitablement, il y a donc un choix à faire. La sélection des demandes est fait par un Comité de pairs,  qui lisent toutes les demandes et émettent leur recommandation de financement. Ce processus ne se fait évidemment pas du jour au lendemain. De la réception des demandes de la part des organismes jusqu’à l’annonce des décisions de financement,  le tout prend un minimum de deux mois.

Chaque année, l’AMC fait un appel général afin de recruter des professionnels du milieu muséal et patrimonial qui aimeraient faire partie du Comité d’évaluation par les pairs des demandes JCT. Composé de professionnels et bénévoles de musées partout au Canada, le comité comporte chaque année environ 90 membres. Afin de refléter le caractère très diversifié des demandes JCT, les pairs proviennent autant de musées de petites que de grandes tailles, ils occupent des postes passant des milieux de l’interprétation, à l’administration ou la conservation et en sont à différents stades de leur carrière. Certains évaluateurs sont parmi nous depuis maintenant plusieurs années! Plusieurs des membres du comité d’évaluation soumettent également des demandes JCT; cette expérience est donc pour eux une chance inespérée de voir comment sont évaluées les demandes, ce qui leur permet d’améliorer leurs propres demandes!

De notre côté, nous nous garantissons l’impartialité des pairs en s’assurant que ceux-ci évaluent les demandes d’organismes provenant d’une autre région que la leur. Par exemple, un pair de la Colombie-Britannique pourrait évaluer des demandes provenant du Manitoba. De cette façon, nous nous assurons qu’il n’y a pas de conflits d’intérêts.

Les membres du comité d’évaluation reçoivent de 30 à 50 demandes à évaluer sur une période de 2 à 3 semaines. Auparavant, la transmission des documents était effectuée par la poste. Toutefois, nous avons tenu à accélérer le processus : nous transmettons maintenant les documents électroniquement! Les grilles d’évaluation doivent nous être retournées par la poste, mais nous nous assurons que les pairs n’encourent pas de dépenses personnelles.  

Cette méthode nous permet de rendre les décisions dès que nous le pouvons, dans la mesure du possible! Une fois les documents retournés à l’AMC, les résultats sont compilés afin d’établir une liste des organismes qui recevront du financement.

Le Comité d’évaluation par les pairs permet aux membres de la communauté muséale de participer à la formation des jeunes se dirigeant vers le milieu muséal. De plus, l’évaluation par les pairs s’est avérée être une méthodologie très avantageuse sur au moins deux aspects :
  •       Elle permet l’impartialité des décisions. Chaque demande sera lue et notée par 3 pairs différents et les décisions de financement sont prises selon l’amalgame des résultats données par ces trois évaluateurs.
  • ·        Elle permet de s’assurer que les emplois seront appréciés à leur juste valeur. Comme les pairs proviennent de la communauté muséale, ceux-ci peuvent mettre à profit leurs expériences et connaissances pour évaluer la qualité des projets proposés.
L’Association des musées canadiens est toujours à la recherche de nouveaux membres du comité d’évaluation! Si l’expérience vous intéresse, n’hésitez pas à contacter l’équipe JCT à l’AMC.


Stéphanie Jacques