ワーディングが回答に大きな影響を与えることを示す好例として、おそらく日本で最も有名な事例は、林(1984)が示した人情課長のワーディング実験であろう。統計数理研究所の「日本人の国民性調査」では、下のA、Bのどちらの課長の下で働きたいかを毎回尋ねているが、Bの面倒見のよい課長の方が、圧倒的に人気があり、2003(平成15)年調査では18%対77%である(その他、無回答が5%)。
A 規則をまげてまで、無理な仕事をさせることはありませんが、仕事以外のことでは人のめんどうを見ません
B 時には規則をまげて、無理な仕事をさせることもありますが、仕事以外でも人のめんどうをよく見ます
このことから、日本人は面倒見のよい人情課長が好きだと解釈するのは間違いである、林は下のように、各選択肢の前半と後半を入れ替えただけで本質的な意味が変わらないワーディングで実験調査を行い、このワーディングの場合はAとBの人気がほぼ拮抗することを示している。2003(平成15)年調査で同じ実験を再現した結果でも、AとBは42%対50%と、上の結果とは大きく異なる(その他、無回答が8%)。
A 仕事以外のことでは人のめんどうを見ませんが、規則をまげてまで、無理な仕事をさせることもありません
B 仕事のこと以外でも人のめんどうをよく見ますが、時には規則をまげて、無理な仕事をさせることもあります。
人情課長の質問は、一般的なワーディングの規則に照らし合わせると良いワーディングとはいえない。質間の伝わり方が容易に変わってしまうということは、同じワーディングでもおそらく回答者間で伝わり方に違いがある、つまり信頼性の低い測定がなされていると予想されるからである。文が長すぎることや、面倒見のよいことと無理な仕事をさせないことという二つの事柄の評価を同時に尋ねていること、面倒を見る、無理をさせるといったあいまいな言葉が使われていることなどが原因である。
しかし、そのことからこの質問項目が即座に意味のないものとみなされるわけではない、日本人の国民性調査でめざされていることは、日本人の特性の趨勢を描くことであり、回答者間の測定の信頼性よりも、調査年度間で安定した比較が可能なことを重視しているはずである。また、この一つの質問項目で何かを測定しようとしているのではなく、態度に関する複数の質問項目によって(それを統計的に分析することで)国民性を描こうとしている。おそらくこの質問項目では、社会的に望まれるような回答に偏ることのない本音を聞き出すために、現実感がわきやすい質問文を企図したのであろう。その目的に照らし合わせるならば、このワーディングは十分その役割を果たしている。 ダブルバーレルをはじめとして質問文のワーディングには有名な基準が多く存在する、しかし、それを金科玉条のごとく遵守することで最良のワーディングにたどり着くわけではない。しばしば相対立する基準の中で何がこの質問項目にとって大切なのか、測定の信頼性、妥当性の根底から考え、取捨選択するバランス感覚が調査設計者にとって最も重要である。
保田時男,2014,「選択肢のつくり方」社会調査協会編『社会調査事典』丸善出版,204-7.