【文献名】
著者名：John Norcini and Vanessa Burch
文献タイトル：Workplace-based assessment as an educational tool
雑誌名・書籍名：AMEE guide No.31 Medical Teacher 2007 855-871
発行年：2007
【この文献を選んだ背景】
この２年をかけて、HCFMは後期研修プログラムの目標や評価システムを大幅に改正中である。その目的の一つとして、個性やそれまでの経験が異なる一人一人の後期研修医に合わせた評価を的確に行い、その人に合わせた成長をサポートすることがある。
そのためには、後期研修期間中の研修医に対する評価は欠かせない。そして、評価の中でも、日々の臨床業務での研修医の実際のパフォーマンスを評価する「WBA(Workplace-based assessment)」がこの10年で世界的にも着目され、研究が進んできた。我々も今後の後期研修の中でこのWBAを形成的評価(＝試験して落とすためではなく、研修医にフィードバックし成長を促すための評価)の方法として取り入れようとしている。
今回は、WBAの具体的なツールにどのようなものがあり、それぞれの特徴、限界はどうなのかについて、勉強し直したため、共有することとした。
【概要】
この文献は5つの側面に焦点を当てている。
1形成的評価とフィードバックの有効性と頻度の文献レビュー
2各論的な頻用されるWBAの手法について
3形成的評価において有用なフィードバックの特徴
4指導医を参加させ、能力を向上させる為の戦略
5形成的評価を日々の臨床に取り入れる際の困難な側面
今回のジャーナルクラブでは主に2に焦点を当てて紹介する。
【形成的評価の手法】p858
・この10年で様々な形成的評価のための手法が開発された。以下の７つを概観する。
①Mini-Clinical Evaluation Exercise(mini-CEX)(Figure1)
・指導医観察の下、学習者が臨床上のタスクを行う(問診⇒身体診察⇒診断⇒マネージ)
・外来・入院・ERのどれでもよいし、初診でも再診でもかまわない。また、症状の評価でも疾患の評価でも問題ない。
・原著では、9点満点(1-3 unsatisfactory, 4-6 satisfactory, 7-9 superior)として問診技術、身体診察、プロフェッショナリズム、臨床判断、カウンセリング、全体構成と能率、全体の能力について評価がなされることとなっている。
・この評価手法の最大の目的は構造化したフィードバックを観察に基づいて行うことである。大まかに15分の面接を観察し、5?10分のフィードバックを行う。
・学習者は、研修期間中に、異なる臨床状況で、異なる指導医に評価されることが望ましい
・この手法は、十分にサンプリングを行えば、信頼性のある手段であることが示されている(大まかに４人の事例があれば、95%信頼区間が１以下となり、0.8以下の信頼性coefficientには12?14事例の評価が必要である)
・様々なエビデンスによってmini-CEXの妥当性も示されている。例えば卒後の文脈であればITE筆記試験やルーチンの指導医によるratingとよく相関する。
※卒前の文脈でも利用でき、妥当性もコミュニケーションスキルなどで示されている(観察＋フィードバックの時間は合計して30?45分とやや長めとなる)。
②Clinical Encounter Cards(CEC)
・カナダのMcMasterで開発され、他の環境でも実践されている。
・miniCEXと評価項目は類似であるが、6点評価であり、卒前の文脈のようである
③Clinical Work Sampling(CWS)
・臨床医のみでなく、看護師・患者によるratingが付け足された評価手法。
④Blinded Patient Encounters(BPE)
・卒前のベッドサイドにおける教育に用いられる評価手法
⑤Direct Observation of Procedural Skills(DOPS)(Figure2)
・臨床下での手技の直接観察評価のために用いられる。
・6点評価で、1-2が標準以下、3が境界、4が標準、5-6が標準以上である。
・直接観察は15分、フィードバックは5分にて行う。
・研修コースの中で学習者は実践頻度が高い手技を提示され、それについて複数の指導医から複数回観察を受けるようにする。
⑥Case-based Discussion(CbD)(Figure3)
・学習者は2人の患者のカルテを選択し、評価者にプレゼンテーションする。評価者はそのうちの一つをディスカッションするケースとして選び、ケースの２つ以上の側面(臨床アセスメント、精査と紹介、治療、フォローアップと今後の計画、プロフェッショナリズム)について深めて行く。カルテもその場にあるため、カルテ記載も同時に評価する。
・clinical reasoningの評価を行い、実際の臨床現場での意思決定のうらにある根拠を評価することが目的である。大まかに２０分以下の評価として、そのうち5分のフィードバックを行う。学習者は研修期間の間に異なるケースについて異なる評価者から評価を受ける。
・CbDはその妥当性を示唆する研究がいくつかある。救急医の免許更新における研究などがそれである。その一つとして、ボランティアの医師と、臨床に問題のある医師を両方まぜて、CbDで評価した結果、その両者を鑑別できたという研究がある。
⑦MultiSource Feedback(MSF)
・360度評価とも言われるが、構造化された質問紙を用いて多くの関係者からパフォーマンスのデータをあつめ、個々の学習者へフィードバックする手法である。全ての評価は直接観察のもとではあるが、上記６つと異なるのは「日常のパフォーマンス」を思い出して記載するところである。
・多くのフォーマットがあるが、mini-peer assessment tool(mini-PAT)はその良い例であり、UKでのFoundation Programmeで用いられている。そこでは学習者が8人の評価者を指導医、ジュニア、看護師、他の医療専門職から選択する。それぞれの評価者が構造化した質問紙を渡され、プログラム中枢部に送る。また学習者自身も同じ構造化質問紙を用いて自己評価を行う。
・評価のカテゴリーはよい臨床ケア、臨床実践の維持、教育と訓練、患者との関係性、同僚との業務、全体評価、である。
・この質問紙は集計して個別フィードバックを用意する。データはグラフとして、学習者を評価した人の平均点と国での平均点が示される。全てのコメントは逐語録として残されるが、匿名化される。学習者は教育者とこの結果を見て、今後の行動計画を立てる。このプロセスは研修期間中に年に２回行われる。
・MSFは卒後や現場の医師の評価にも応用されている。Sheffield Peer Review Assessment Tool(SPRAT)がfigure4にあり、実現可能性と信頼性が示されている(※先日ジャーナルクラブで扱ったものです)。また一緒に仕事をした期間などのバイアスの影響も受けないようである。信頼性を保つ為には8-12人による評価が必要である。
注釈
形成的評価；学習者が更にのびることを目的として行う評価のこと。点数をつけて合格・不合格とする評価ではなく、改善の為の提案や指導を行うことが主目的。
妥当性＝測定したいと思っているものを測定できているかどうかの指標
信頼性＝誰が行っても同じような結果がでるかの指標
【開催日】
2012年10月24日