Psychometrician

Psychometrician
Exams Quality Assurance (EQA)
Permanent

Today the Royal College has over 55000 members and the vision remains to advance the learning for specialist physicians to deliver the best health care for all. The Royal College partners and collaborates to lead the evolution of specialty medical education and standards; support specialist physicians learners and teams to continuously improve; and advocate for excellence in specialty medicine by supporting innovation well-being equity and person-centered care. We are a national nonprofit organization established in 1929 by a special Act of Parliament to oversee the medical education of specialists in Canada.

Reporting to the Manager Exam Quality and Analytics the Psychometrician supports the assessments of specialty physicians by providing advice that guides and informs the direction of exam development exam quality improvement and assessment practices to ensure fair and valid assessments.

Reporting to the Manager of Exam Quality and Analytics the psychometrician is responsible to apply expert knowledge of testing educational and psychological measurement and assessments to support the mission of the Royal College of assessing specialty physicians. They contribute to the strategic direction of exam development exam quality improvement and assessment methodologies/practices. The psychometrician provides expertise regarding the technical measurement aspects of assessments. They apply expert knowledge as a psychometrics professional with an in-depth understanding of statistical and / or other analysis techniques designed to support psychometric and other research projects of broad scope and complexity.

Heres an insight into your typical day-to-day:
Contributes to the conceptualization and development of Royal College exam preparation resources (EPR) and exams based on an understanding of each medical specialty by providing expertise in psychometric measurement principles and quantitative analysis to ensure the utility validity and reliability of Royal College exams.
Provides expert advice and sets the direction of EPR and exam development exam quality and assessment practices (e.g. standard setting rater calibration) by leading the development of position papers best practices policies procedures and examination/assessment tools based on identified needs to ensure that the exams continue to adhere to acceptable professional standards for certification assessment.
Leads quantitative research activities by overseeing the collection analyzing and reporting of data collaborating with project teams and writing reports to ensure the continued quality reliability and validity of Royal College exams.
Leads the production of and/or produces psychometric reports that present examination result information by overseeing the collecting transforming and formatting of examination data to inform stakeholders (candidates boards committees Royal College leadership legal) of exam results and performance.
Provides oversight and expertise on the development of EPR & exam quality improvements and assessment practices by collaborating and maintaining liaison with fellows medical educators and organizations involved in medical education/assessment to improve examination and assessment approaches and methods.
Counsels stakeholders (boards committees Royal College leadership and staff legal) on how to addresses the evolving needs of the exams by researching and suggesting new and innovative psychometric techniques to influence exam boards/committees in determining the most appropriate and optimal methodologies to be used for their examinations.
Leads research initiatives and academic publication within the milieu of examinations and/or assessment practices by producing works grounded in relevant theories and applies applicable methodological approaches to publish and disseminate research.
Collaborates and maintains liaison with fellows medical educators and sister and international organizations involved in medical education to organize and advance effective assessment approaches and methods by attending and/or presenting at conferences collaborating on research projects and publishing research.

Does this sound like you
Level of education training and experience equivalent to a Ph.D. with expertise in evaluation in education 3 years of demonstrated experience in assessment.
Operational testing experience in high stakes assessment and computer-based testing.
Advanced understanding of and the ability to use statistical analysis software and databases.
Demonstrated experience in developing and implementing assessment initiatives.
Demonstrated ability in developing evaluation tools policies and initiatives.
Writing communication and interpersonal skills for concise and clear expression and the ability to lead interactive educational activities.
Efficiency and skill in assimilating organizing and outlining information and statistical material and in the use of computer technology.
Organizational and time-management skills to deal with concurrent activities the management of multiple priorities and the meeting of deadlines.
Superior analytical skills accuracy and careful attention to detail in handling quantitative material.
Capacity for independent action and problem-solving.
Travel: Occasional 2-5 times per year.

How to get noticed
Please apply through our UKG recruitment platform with your résumé covering letter and salary expectations by August 3 2026.

The Royal College invites applications from all qualified applicants. The Royal College is strongly committed to employment equity and diversity in the workplace and encourages applications from Black racialized/visible minorities Indigenous/Aboriginal people women persons with disabilities and 2SLGBTQIA persons.

We sincerely thank all applicants for their interest; however we will only contact those under consideration. An eligibility list may be established for similar positions of various tenures. The list will be retained for a maximum period of 18 months.

The Royal College supports a hybrid work environment which includes a combination of working both onsite in Ottawa and from home.

The Royal College will provide support in its recruitment processes to applicants with disabilities including accommodation that considers an applicants accessibility needs. If you require accommodations during the interview process please contact

Please note that the job advertisement will no longer be available once the position has closed.

Band 9 - Salary ranges from $103846.00 to $155871.00

Psychométricien ou psychométricienne
Assurance de la qualité des examens
Poste permanent

Les statistiques et les évaluations vous passionnent Vous désirez contribuer au système de soins de santé canadien Si cest le cas nous avons un rôle enrichissant à vous proposer. Vous contribuerez au processus dévaluation des médecins spécialistes et orienterez lélaboration des examens lamélioration de la qualité des examens et les pratiques dévaluation au Collège royal. Date limite : 3 août 2026.

Aujourdhui le Collège royal compte plus de 55 000 membres mais sa vision reste la même : faire progresser lapprentissage des médecins spécialistes afin doffrir les meilleurs soins de santé qui soient à la population. Il établit des relations de partenariat et de collaboration afin de piloter lévolution de la formation médicale spécialisée et des normes dans ce domaine aide les médecins spécialistes les personnes apprenantes et les équipes à saméliorer sans cesse et promeut lexcellence en médecine spécialisée en appuyant linnovation le bien-être léquité et les soins centrés sur la personne. Le Collège royal est une organisation denvergure nationale sans but lucratif créée enâ1929 en vertu dune loi spéciale du Parlement dans le but dencadrer la formation médicale des spécialistes au Canada.

Relevant du ou de la gestionnaire de la qualité et de lanalytique des données des examens vous contribuerez au processus dévaluation des médecins spécialistes en fournissant des conseils qui orientent la conception des examens lamélioration de la qualité des examens et les pratiques dévaluation afin dassurer la validité et léquité des évaluations.

À ce titre vous serez aussi responsable dappliquer vos connaissances spécialisées en matière de tests de mesure de données pédagogiques et psychologiques et dévaluation afin dappuyer la mission du Collège royal qui consiste entre autres à évaluer les médecins spécialistes. Vous contribuerez à lorientation stratégique de lélaboration des examens de lamélioration de la qualité des examens ainsi que des méthodologies et pratiques dévaluation. Vous fournirez une expertise au sujet des aspects techniques de mesure des évaluations. Vous tirerez profit de vos connaissances spécialisées en psychométrie et de votre compréhension approfondie des techniques statistiques ou dautres techniques danalyse conçues pour appuyer des projets de recherche psychométrique et dautres projets dune grande portée et complexité.

Aperçu de vos tâches quotidiennes
Contribuer à la conceptualisation et à lélaboration des ressources préparatoires et des examens du Collège royal à la lumière dune compréhension des spécialités médicales en partageant votre connaissance approfondie des principes de mesure psychométrique et de lanalyse quantitative pour assurer lutilité la validité et la fiabilité des examens du Collège royal.
Procéder à lanalyse psychométrique des données dexamen et à des études dassurance de la qualité pour assurer lintégrité et la qualité des données.
Produire des rapports psychométriques qui présentent les résultats dexamen afin que les personnes candidates les membres des comités et les têtes dirigeantes du Collège royal puissent en prendre connaissance.
Orienter la direction de lélaboration des examens de lamélioration de la qualité des examens et des pratiques dévaluation du Collège royal afin dassurer le caractère valide et équitable des examens.
Contribuer à la prise de décisions concernant la conception et les résultats des examens afin den assurer la fiabilité et la qualité.
Aider les partenaires internes et externes à concevoir des examens justes et valides en les guidant dans lapplication des pratiques exemplaires et des politiques du Collège royal.

Ce profil vous correspond
Scolarité formation et expérience équivalentes à une maîtrise en statistiques en mathématiques en éducation ou en psychologie.
Six ans dexpérience de lanalyse statistique.
Connaissance approfondie des techniques paramétriques et non paramétriques et des techniques de régression ainsi que dau moins un logiciel de statistiques (p. ex. SAS SPSS Stata R); et connaissance ou expérience des systèmes de base de données relationnelles (p. ex. SQL MS Access).
Expérience de la gestion de données et de bases de données compétences analytiques et connaissance de la méthodologie statistique.
Minutie exceptionnelle dans le traitement de linformation et des données quantitatives.
Expérience de travail avec les résultats de données notamment en les interprétant et en les communiquant.
Capacité de communiquer des idées complexes en termes simples et de les présenter à différents auditoires.
Connaissance approfondie des applications Microsoft Office (Excel Word Outlook etc.)

Pour postuler
Veuillez poser votre candidature dans la plateforme de recrutement UKG et joindre votre curriculum vitæ une lettre de motivation et vos attentes salariales dici le 3 août 2026.

Le Collège royal invite toutes les personnes qualifiées à postuler. Fermement engagé à légard de léquité en matière demploi et de la diversité en milieu de travail il encourage les personnes noires racisées ou issues de minorités visibles ainsi que les Autochtones les femmes les personnes handicapées et les personnes 2ELGBTQQIA à poser leur candidature.

Nous remercions toutes les personnes qui manifestent leur intérêt mais nous ne communiquerons quavec celles dont la candidature aura été retenue. Une liste dadmissibilité pourra être établie afin de pourvoir des postes similaires de durées diverses. La liste sera conservée pendant 18 mois.

Le Collège royal favorise un milieu de travail hybride combinant le travail sur place à Ottawa et le travail à domicile.

Le Collège royal apportera son soutien aux candidates et candidats handicapés dans le cadre de ses processus de recrutement notamment en proposant des accommodements qui tiennent compte de leurs besoins en matière daccessibilité. Si vous souhaitez vous en prévaloir communiquez avec nous à ladresse

Veuillez noter quil ne sera plus possible de consulter cette offre demploi une fois que le poste sera pourvu.

Échelon 9 salaire de 103 846 $ à 155 871 $