アメリカ・カトリック大学歴史学部 ジェリー・Z・ミュラー教授の著書『測りすぎ なぜパフォーマンス評価は失敗するのか？』を読みました。原題は「The Tyranny of Metrics」（「tyranny」は、「暴政」や「圧政」という意味）なのもおもしろいですね。個人的には、「測られる」から進捗がわかって改善に向かえるから助かる！ということもありますが、「測られ」過ぎてしまってそのために数字を作ったり、会議が増えたり、隠したりズルしたりする、というケースもたくさんあるな…と思って読みました。
会社でも、学校でも、こういうのってたくさんあるよな…と思います。ケーススタディとして、大学、学校、医療、警察、軍、ビジネスと金融、慈善事業と対外援助が挙げられています。興味深かったところの読書メモを共有します。
問題は測定ではなく、過剰な測定や不適切な測定だ。
「はじめに」で、「説明責任」と「測定基準」についての話が書かれていました。この本全体の方向性も書かれていると思います。最後にある、「問題は測定ではなく、過剰な測定や不適切な測定だ。測定基準ではなく、測定基準への執着なのだ。」という言葉はそのとおりだと思いつつ、難しいな、と思いながら読みました。
私たちは測定された説明責任の時代、測定された実績に対する報酬の時代に生きており、「透明性」を通じてそれらの測定基準を公表するという美徳を信じている。だが、説明責任を測定基準や透明性と同一視するのは間違っている。説明責任は本来、自分の行為に責任を負うという意味のはずだ。だが、一種の言語的トリックによって、説明責任は標準化された測定を通じて成功を見せつけることに変わっていった。まるで、本当に大事なのは測定できるものだけだとでもいうようだ。しばしば当然のことのように受け止められるもうひとつの思いこみが、「説明責任」は実績の測定が公にされること、つまり「透明化」を求めるということだ。
測定基準への執着は、実績を測定し、公開し、報酬を与えなければいけないという、一見避けようのないプレッシャーからくるものだ。だが、それが実はあまりうまくいかないという証拠は突きつけられている。
本文で見ていくが、適切に使用すれば、測定は有益になり得る。透明性も同様だ。だがそれらはゆがめたり、脱線させたり、押しのけたり、焦点をずらしたり、やる気を削いだりもする。私たちは測定の時代に生きる宿命にあるが、同時に測定ミス、過剰測定、誤解を招く測定、非生産的な測定の時代にも生きている。本書は、測定の害悪について語るわけではない。経験に基づく個人的判断の代わりに標準化された測定を使おうとする際に起こる、意図せぬ好ましくない結果について語る本だ。問題は測定ではなく、過剰な測定や不適切な測定だ。測定基準ではなく、測定基準への執着なのだ。（p.4-5）
ここで書かれている「測定基準への執着」の要素と特徴が、「1 簡単な要旨」でまとめられていました。
測定執着の主な要素は以下のとおり。
- 個人的経験と才能に基づいておこなわれる判断を、標準化されたデータ（測定基準）に基づく相対的実績という数値指標に置き換えるのが可能であり、望ましいという信念
- そのような測定基準を公開する（透明化する）ことで、組織が実際にその目的を達成していると保証できる（説明責任を果たしている）のだという信念
- それらの組織に属する人々への最善の動機づけは、測定実績に報酬や懲罰を紐づけることであり、報酬は金銭（能力給）または評判（ランキング）であるという信念
測定執着とは、それが実践されたときに意図せぬ好ましくない結果が生じるにもかかわらず、こうした信念が持続している状態だ。（p.18-19）
測定執着にしばしば見られる特徴は実績に対して報酬を与えること、つまり、個人や組織に対して定量化可能な基準を満たした場合に金銭的なインセンティブを提供することだ。これは、利益を生むことが唯一の目的である組織ではうまくいくかもしれない。だが、これから見ていくとおり、その場合でも効果的であることはめったにない。教育機関や医療機関など、従業員がもっと理念的なミッションを帯びた組織ではなおさらうまくいかない。報酬が測定実績に紐づけられると必ず、測定執着が改竄を招いてしまうのだ。（p.20）
最後の「報酬が測定実績に紐づけられると必ず、測定執着が改竄を招いてしまうのだ。」というところを読むと、教育業界的には全国学力調査とか、アメリカの公教育の問題とか、そういうのが思い浮かびます。こうした事例は、この本のなかでも紹介されています。「7 大学」では、高等教育での測定実績に報酬を与える問題が挙げられています。
高等教育において、測定実績に対して報酬を与えることは大学を「もっとビジネスらしくする」と擁護者たちに支持されている。だが、ビジネスには、あまりに多くの時間と予算を測定に費やしすぎないような抑制機能が備わっている。測定に力を入れすぎると、やがては利益を削り始めるからだ。皮肉にも、大学などの非営利組織にはそういったボトムラインがないため、政府や認定機関、あるいは大学の管理部門は測定基準をどこまででも拡大することができてしまう。その結果、コストが膨らんだり、実際の仕事をする側ではなく管理業務をおこなうほうに支出が向けられたりすることになる。（p.77）
「8 学校」では、アメリカで2001年に施行された「落ちこぼれ防止法（NCLB：No Child Left Behind）」について書かれていました。
NCLBのテストと説明責任の手法がもたらした意図せぬ影響は目に見えやすく、測定執着に特徴的な落とし穴の実例がいくつも見られる。NCLBのもとでは、共通テストのスコアは成功と失敗を判断する数値的測定結果だ。そして、この実績指標に基づいて昇給や仕事そのものも左右されることがある教師や校長にとって、この数値は非常に重要になる。だから、教師が（校長に促されて）授業時間を共通テストの科目である数学と英語にばかり費やして、歴史や社会、美術、音楽、体育といったほかの科目をおろそかにするのも不思議ではない。その数学と英語の指導も、幅広い認知力の育成よりはテストに必要な技術にばかり重点を置く。つまり、実質的な知識よりは、テストを受けるための戦略を習うということだ。（p.94）
ただ、この本の要旨としては、測定が無意味だと言っているのではありません。
ここまで述べたことは、測定が無意味だとか本質的に有害だと主張するものではない。本書の目的のひとつは、実績基準が純粋に有益な場合を特定することだ。測定執着に特徴的な機能不全なしに、測定基準を活用する方法を特定するのだ。（p.21）
測定基準の繰り返される欠陥
「2 繰り返す欠陥」で、「測定基準の繰り返される欠陥」がまとめられていました。
p.24-26
測定基準の繰り返される欠陥
- 一番簡単に測定できるものしか測定しない
- もっとも簡単に測定できるものがもっとも重要なものであることはまれで、実際にはまったく重要ではない場合がある。
- 求められる成果が複雑なものなのに、簡単なものしか測定しない、ということもある。ほとんどの仕事には複数の責任が伴い、ほとんどの組織には複数の目標がある。たったひとつの責任または目標に測定を集中させることは、しばしば欺瞞的な欠陥につながる。
- 成果ではなくインプットを測定する
- プロジェクトについて測定するとき、努力の結果を測定するのではなく、プロジェクトに投入された金額やリソースを測定するほうが簡単な場合多い。「どれだけ消費したか」より、「何を生み出したか」を測定するべき。
- 標準化によって情報の質を落とす
- 定量化は、知識を整理して単純化してくれる。だが、単純化はゆがみにつながる可能性がある。本来の概念、歴史、意味をはぎとることにつながることがある。
- 上澄みすくいによる改竄
- 達成しやすい測定目標を選んでしまいがち。その過程で、成功の達成が難しい事例は排除されてしまう。
- 基準を下げることで数字を改善する
- 測定基準の数値を改善するために、評価の基準を下げる。
- データを抜いたり、ゆがめたりして数字を改善する
- 不都合な事例を省いたり、測定基準に反映されないように事例を分類する。
- 不正行為
- 問題となっている測定基準が重要なほど、不正行為の発生頻度は増える。
「なぜ測るか」「どうやって測るか」というところについて考える良い素材になりそうだと思います。（というか、耳が痛いところが非常に多いですね…）
なぜ測定基準がこれほど人気になったのか
「4 なぜ測定基準がこれほど人気になったのか」に書かれていた2つのことも非常におもしろいと思いました。まず、リーダーが数字に手をつけたがる、という話です。
たとえば、自分が大きな大学か企業、あるいは政府部門の長になったと想像してみよう。あたりまえだが、経験豊富な部下の知識に基づく意見に耳を傾けるだろう。だが、彼らは本質的に、現状維持に関心がある可能性が高い。詩人で歴史家の故ロバート・コンクエストの名言を思い出してほしい。「誰しも、自分が一番良く知っていることについては保守的になる」。だが、リーダーシップを引き受けたばかりの組織にダイナミズムや変化を注入したいのであれば（そしてこれは、「足跡を残したい」新任の閣僚、大学の学長、企業のCEOに典型的な誘惑だ）どうする？そうなると、「数字」に手をつけることが、組織を理解するのに一番の近道のように思えるのではないだろうか。（p.45-46）
そしてもうひとつは、デジタルでデータを管理できるようになったからだ、という話です。これもまた、僕には耳の痛い話です。
もうひとつの要素が、情報技術（IT）の広がりだ。1980年代初頭、電子スプレッドシートの急速な普及とそれによって数字の集計や操作が簡単になったことで、幅広い影響が生じた。この現象を分析した先見の明を持つスティーヴン・レヴィは1984年にこう書いた。
スプレッドシートはツールだが、世界観でもある――数字による現実だ……なぜなら、スプレッドシートは非常に多くの重要なことをすることができるため、それを使う者はコンピューター上で創れる想像上のビジネスがあくまで想像上のものにすぎないという重要な事実を見失ってしまいがちだからだ。コンピューターの中で実際にビジネスを複製することはできない。複製できるのはそのビジネスのさまざまな側面だけだ。そしてスプレッドシートの強みは数字であるため、数字で容易に具体化できる側面だけが強調される。無形の要素は、そう簡単には定量化できない。（p.47）
いつどうやって測定基準を用いるべきか
最後に、「16 いつどうやって測定基準を用いるべきか」で書かれていた、「実績測定を成功させるためのチェックリスト」をまとめました。
実績測定を成功させるためのチェックリスト（p.180-185）
- どういう種類の情報を測定しようと思っているのか？
- 情報はどのくらい有益なのか？
- 測定を増やすことはどれほど有益か？
- 標準化された測定に依存しないことで生じるコストはどんなものか？ 実績についてほかの情報源があるか？
- 測定はどのような目的のために使われるのか、言い換えるなら、その情報は誰に公開されるのか？
- 測定実績を得る際にかかるコストは？
- 組織のトップがなぜ実績測定を求めているのかきいてみる。
- 実績の測定方法は誰が、どのようにして開発したのか？
- もっともすぐれた測定でさえ、汚職や目標のずれを生むおそれがあることを覚えておく。
- ときには、何が可能かの限界を認識することが、叡智の始まりとなる場合もある。
測定するときにはこのチェックリストを思い出したいと思います。
まとめ（というか感想）
ケーススタディの中でも、「教育」と「大学」は大きなテーマとして扱われています。日本の学校現場でも、「測定基準への執着」が現れているところもあるのではないかと思います。
測定をする必要なんてない、じゃなく、測定に執着しすぎるのでもなく、きちんと測定して現場を良くしていきたい、というふうに思います。そのために、ケーススタディとともに、最後のチェックリストがとても役に立ちそうだと思っています。これをちょっと知っているだけでも、仕事の仕方はけっこう変わるような気がします。
（為田）
