試験問題の品質とは

今朝、渋谷のとあるクリニックで健康診断を受けてきました。驚いたのは、視力検査のときに提示されたマークはあのランドルト環（Cマーク）ではなく、アルファベットの大文字Eでした。「Eの切れている方向を答えてください」と言われ、自動車免許センターにあるような、箱の穴から中を覗き込むタイプの検査機で測定されました。

片方の目で3回ぐらいしか試行（問題）がありませんでしたので、回数の面だけで言うと検査結果の「信頼性」に不安が残りますね。実際には、小さいほうから「これはどうですか？」と聞かれて、「わかりません」と答え、次に「これはどうですか」と聞かれて、また「わかりません」と答えました。次に提示されたものについては、ぼんやりとしかEの切れ目が見えなかったのですが、ヤマを張って答えたら、それが当たっていたようで、そこで片方（右）の目の検査は終わりました。結果の視力は右0.8と出ました。このとき、穴から覗いた先には、万国式試視力表のように、Cマークならぬ、Eマークが立て横に大きいものから小さいものへと順にならんでおりました。それを、小さいほうから順に指定されて、答えていったのですが、「わかりません」と言うたびに、あたりまえですが、だんだん大きいEマークの方に進んでいきました。そして二つ進んだところで終了となりました。

測定結果の「信頼性」に向こうが自身をもっているならいいのですが、はたして「モノサシとしての測定結果の再現性」はあるのでしょうかね？あの直後に、仮に再度別のパターンが並んでいる万国式試視力表を提示されて測定をやり直しされたら、今度は0.8のEマークのところで不正解になって、次の0.7のEマークで正解したかもしれません。これだと測定結果は1回目0.8、2回目0.7となってしまい、再現性は低いということになります。まあ、視力がものすごく悪いわけでもないし、他の健康診断の人たちも順番を待っていますし、なるべく短時間で視力の目安がわかればいいのでしょうが、もう少し丁寧に測らないと、せっかく「妥当性」は高いのですから「信頼性」が下がってはもったいないと思いました。

視力検査が終わってから、落ち着いて考えたのですが、自分は検査がはじまってすぐの、ぼやけて見えないEマークを見ているときは、それがEであるかCであるかすら分からなかったので（過去の経験から）無意識にCマークの切れ目を探していたように思います。その後、より大きいEマークを示されたときに、「あ、そういえばCじゃなくてEだった」と思いました。ひょっとすると、このような「過去の経験」が測定の誤差要因となっていたかもしれないと思いました。つまり、最初からCではなくEマークであると、強く意識していたら0.8よりも、より小さいEマークで正解できたかもしれません。

資格認定試験においても、問題文の書き方がややこしかったり、これまでの経験からくる「暗黙の常識」がそこでは変えられていたりして、問題の意味を誤解したりすることがあると思います。結果として正解できるはずの問題に不正解になると、このようなファクターも「能力」測定の誤差として総得点に跳ね返ってくることになりますので、要注意なんですね。