祝！阪神優勝：どんな試験問題を何問解いてもらって能力を測るか
阪神タイガースがついに優勝を決めました。金本がウイニングボールをつかんだと言うのもなかなか嬉しいことでした。しかしプロ野球（セリーグ）は146試合も戦わないといけないので大変です。もし資格試験などでもこんなに長丁場だとまいってしまいます。でも実際の国家試験でも150問解かせるものもあります。一方で、昨日から話している視力検査というのは、何問出題されるかは事前にわかりませんが、30分とかかかって、50問も100問も出題されて、その結果ようやく「視力0.8ですね。OKです。」となるようなことはありません。４、５回のランドルト環の提示で、その人の視力限界値はわかってしまいますので、それほど受ける側にも忍耐を要しません。
野球の話に戻して、勝ち数だけでみれば2005年セリーグ最強は阪神ということになったのですが、果たして本当にそうでしょうか？という疑問をあえてもってみます。実際に、阪神は今シーズン２位の中日とは11勝11負ですから、これだけみれば阪神と中日の強さは五分五分といえそうです。またペナントレースが真のプロ野球チームを認定する資格試験だと仮定して、試合数が問題数だとすると、146問のうちで、5割以上正解、すなわち73勝で合格としましょう。今日現在でこれをクリアしているのは阪神と中日のみです。今シーズンの両チームの戦い方を見ていくと、この二つが合格するのは納得がいく気もします。つまりこの試合数、合格基準でみていくと、一定以上強い（能力のある）チームが認定されるべき、「真のプロ野球チーム」2005年版は阪神と中日でいいような気がします。
しかし、146試合もしなければ認定できないものでしょうか？ ここで、今シーズンから始まったセパ交流戦にだけ着目してみましょう。試合数は36試合で、ペナントレースほど長丁場ではありません。かといってパリーグ各球団と6試合ずつやりますので、少なすぎることもなさそうです。そこで交流戦の成績をもって、真のプロ野球チームを認定する資格試験にかえるとしましょう。合格基準、すなわち昨日述べた、「どのような基準で採点して、合否を判定するか」は同じように5割正解（勝率５割）として、実際の成績表を見てみると、セリーグでは中日は不合格となってしまします。
資格認定試験は、真の能力を測って一定の基準以上の人を認定したいわけですが、「どんな問題を何問解いてもらって」測るかは、合格基準と同じぐらい重要であることが、この例からもよくわかります。もしこちらの基準で認定すると、セリーグの「真のプロ野球チーム」2005年版は、阪神、ヤクルト、横浜、巨人（勝ち数順）ということになります。これでは中日が「不公平だ」と言い出しかねないですね。ちなみに、広島はいずれの基準でも合格できません。がんばれ2006年の広島カープ！
視力検索のように、試験対策が意味をなさない試験が良いですね
昨日、「どんな問題を何問解いてもらって、それをどのような基準で採点して、合否を判定するか」が大事であると申し上げましたが、ではお手本としたい、視力検査においてはそこのところはどうなっているでしょうか？ 警視庁のページによれば、普通免許の場合、視力検査の合否判定基準として「両眼で０．７以上、かつ、一眼がそれぞれ０．３以上」あればOKということになっています。かく申す私は、片眼が0.3以上ないため、いつも免許更新のときには「視野検査」なるものに進んで、そこでもう一方の良く見えている眼で十分な視野があることを確認してもらってOKをもらいます。
考えてみれば、普通免許のこの基準は結構厳しいものですね。これに合格できなくて「今日は免許更新できません」と言われ、打ちひしがれて免許更新センターを後にする人を時々目にします。合否ラインぎりぎりの人は、あの視力検査は結構ヒヤヒヤもののはずです。しかも悪いことに、免許更新センターの視力検査機械は、学校で昔やった視力検査表のように立て横にランドルト環が並べてあって、指し示されたところを答える仕組みではないので、横からあらかじめ覗き見しておいて、ランドルト環の切れ目を暗記するわけにもいきません。
免許更新センターの視力検査機械は、小さい穴から機械を覗き込んで、一ずつ提示されるランドルト環の切れ目を答える方式なので、どんな問題が出題されるかは事前に予測不能で、試験対策もしようがないのです。対策を事前にやろうとすれば、視力をあげるために眼筋力を日々鍛えておくぐらいしかありません。実はここが大きなポイントです。試験に合格するために、受験テクニックに走ったり、過去問を多く解いて経験値を積むといった、本筋でない対策は意味をなさず、本来測るべき能力のみを伸ばせばいい、また発揮すればいいのです。逆にそれ以外に合格へ道はないのです。能力を測る、というのは本来このような姿であってほしいのです。
資格認定試験においても、本来の能力のみを測る試験問題が作成できることが理想なのですが、これはなかなか難しいわけです。では「本来の能力のみを測る」とはいったいどういうことか、それをなし得る試験問題とはどんなものか、これを考えていくのが本ブログのテーマなわけです。
残念ながらモノサシで身長を測るようには能力は測れません
昨日のモノサシの話の続きですが、もちろん、資格認定試験で測りたい能力というのは、モノサシで身長を測るようには簡単に測定できません。試験問題によって能力を測るという行為は、むしろ視力検査をするようなものです。 視力検査といえば、小学校から慣れ親しんだ例のCマーク（ランドルト環というらしい）を大小いくつも指し示されて、文字の切れ目がどこにあるか答えるものが代表的です。あれは普通、はじめは大きなランドルト環を見せられて、切れ目が難なく答えられます。するとだんだん小さなランドルト環が指し示されていき、やがて切れ目が分からなくなる限界にきます。そこで、その人の視力は1.0などど決まります。
身長の測定であれば身長計に乗って、上からバーを降ろせば一瞬で身長が測定できてしまいますが、視力検査の場合は何か機械を使って一瞬で測ることはできないのか、上の例のように、いくつかのランドルト環の切れ目を答えないと測定できないようです。資格試験で測りたい能力も同じで、いくつかの試験問題を解いてもらわないとその人の能力は測定できないので、結果として資格を取得したい人にはある一定量の試験問題を解いてもらわないといけません。
ここで重要なのが、どんな問題を何問解いてもらって、それをどのような基準で採点して、合否を判定するかということです。このやりようによってはいくらでも不正確で公正でない試験を作成することができます。
理想的な試験というのは視力検査のようにいくつかの問題を解くことで、その人の能力限界値が測定でき、それをもとに合否判定をしたり、能力グレードを認定したりできるもののようです。
明日からは、「視力検査のような試験」を作成するために先人がいかに苦労、工夫を重ねてきたか、またその結果としてできあがった
試験問題は能力を測るモノサシでありたい
資格認定をするためには、受験者の能力・技能をなんらかの方法で測らなければなりません。そのためのモノサシとなるのが試験問題です。というのはあたりまえの話に聞こえるかもしれませんが、この「モノサシ」という考え方が重要なのです。とかく学校の試験などは、「成長をはかるモノサシ」ではなく、乗り越えなければならない壁、ハードル、試練のようにとらえられがちで、試験あるいはテストと聞くと、それだけでいやな気分になる人も多いかもしれません。
ここで、「ハードル」というものには一定の高さが設定してあって、それをうまく超えられた人が合格者であり、認定された人という ことになります。大学の定期試験でもたとえば100点満点のテストで30点というハードルが設定され、これを越えられないと単位が認定されなかったりします。この例をモノサシになぞらえると、長さ100のモノサシがあって、それで能力を測った結果、受験者の能力が30未満であれば、「不合格」とするわけです。
さてここで問題となるのは、そのモノサシは正確、公正につくられたものなの？ということです。たとえば1問2点の問題が50問あったとします。その50問のうち15問以上に正解すれば単位が認定される場合、各問題は本当に同じレベルなのでしょうか？たまたま最も難しい25問を最初に解いてしまい、10問正解したけど残りの問題を解く時間がなくなって合格基準の15問以上正解できなくて、不合格となったAさんと、たまたま易しい問題25問を最初に解いて、ほとんど正解した結果、合格となったBさんがいたとして、Bさんの方がAさんより能力が高いと言い切れるでしょうか。つまり、モノサシが正確、公正であるためには、少なくともその目盛りは問題の難しさに応じて幅の大小が設定されているべきです。先の例では、たとえば難しい25問は1問3点、易しい25問は1問1点とすればいいような気もします。しかしながら、それではどうやって「難しい」25問は「易しい」25問の3倍難しいなどと決めるのでしょう。現状では試験問題の作成者がその人の感覚で勝手に難しさの度合いを決めて、配点に反映している場合も多いようです。これでは正確、公正とは言えませんね。
というようなことを先人たちが一生懸命考えていくうちに、試験問題の品質に関する科学
というものが、心理学・統計学をベースに発達してきたようです。
試験問題の品質について研究しはじめました
最近、某コンピュータソフト・メーカーから、資格認定試験の実施代行をする会社に転職しました。もともと大学時代に心理学、統計学を専攻していたので、そのバックグラウンドで飯が食えるところということで探しましたら、いい職を頂きました。これから試験問題の品質について研究していきます。
ところで、試験と心理学・統計学との関わりですが、試験というのは実はかなり心理学・統計学なものです。といのは、問題が難しいか簡単かというのは、人それぞれの感じるところによるもの、言い換えると人の心理によって決まる数字（心理量）なのです。また試験に何人受けて何パーセント合格したかといったことはまさに統計学なわけです。
そんなわけで、これまではマーケティングや経営マネジメントへの心理学・統計学応用を考えてきたのですが、どうもそれではあまり儲からない気がしてきたので、思い切って分野をかえてみたというのが今回の転職なわけです。
で、転職に当たり、色々と「試験問題の品質」ということについて、科学的な過去の研究を勉強したのですが、なかなか学問的にも歴史があって奥が深い世界であることがわかりました。ただ一方で奥が深いだけに、わかりにくい理論がたくさんあるのです。そのあたり、今後できるだけ簡単にひもといていければと思います。また、資格認定試験の業界に入るのもはじめてで、大なり小なり驚きがあります。その辺も差し障りのない範囲でご紹介できればと思います。
